Традиционные подходы к обучению ИИ-агентов больше не работают. Это особенно заметно у агентов, которым нужно читать документы, разбирать схемы, кликать по сайтам и выполнять многошаговые сценарии. Ручная разметка быстро устаревает и обходится дорого. Попытки автоматизировать генерацию задач с помощью LLM уже ведутся, но чаще всё сводится к простым форматам «вопрос–ответ», которые не учат реальной интерактивности и инструментальности.

Команда Graph2Eval предложила аккуратный выход: строить задачи прямо из графа знаний, собранного по документам и веб‑страницам. Граф становится не только хранилищем фактов, но и пространством задач. Из его кусочков можно автоматически получать проверяемые сценарии — как на понимание документов, так и на взаимодействие с сайтами.

Идея: задачи из графа знаний

Граф знаний объединяет:

• элементы документов и веб‑страниц (абзацы, таблицы, заголовки, ссылки, формы, кнопки);

• связи между ними: структурные, семантические и интерактивные.

Далее идут два вида задач:

• документные — извлечение фактов, сравнение, многократные переходы по ссылкам, работа с таблицами и иллюстрациями;

• веб‑взаимодействия — поиск, фильтрация, заполнение форм, переходы по результатам, работа с модальными окнами.

Сложность контролируется размером и типом подграфа: чем больше шагов и отношений, тем богаче сценарий. Для веб‑части используется механизм мета‑путей: это шаблоны взаимодействий уровня “поиск → фильтр → карточка”, которые автоматически сопоставляются с конкретным DOM и разворачиваются в пошаговые действия агента (input, click, navigate).

Как это устроено изнутри

• Парсинг. Документы сохраняют структуру и подписи, веб‑страницы — DOM и скриншоты. Качество источников фильтруется правилами и LLM.

• Граф. Узлы содержат текст и визуальные признаки, рёбра кодируют порядок, включение, ссылки, а в вебе — навигацию и интеракции.

• Сэмплинг подграфов. Для документных задач выбираются смысловые фрагменты, для веб — “семена” (формы, кнопки) и их окрестности.

• Генерация. Шаблоны задач заполняются переменными из подграфа и метаданными. Веб‑кейсы собираются из мета‑путей в исполняемые цепочки.

• Отбор. Многоступенчатая фильтрация учитывает достижимость, новизну и покрытие разных паттернов. Это позволяет держать баланс между качеством и разнообразием.

Что получилось на практике

Авторы собрали Graph2Eval‑Bench: 1 319 задач — 1 002 документных и 317 взаимодействия с вебом. Источники включают 16 документов и 8 сайтов; в среднем 83,5 задачи на документ и 48,4 — на сайт. Типов задач: 12 для документов и 7 для веба. Среднее время генерации — 34,87 с для документов и 95,51 с для веба, что в разы быстрее ручного конструирования.

Как повели себя модели и агенты

Документные задачи

Сравнивали одиночного агента и мультиагентную систему с RAG. По F1 и ROUGE‑L лучше всех выступил GPT‑4o; по оценке LLM‑судьи лидировал Deepseek‑V3. Интересная деталь: мультиагентная схема не дала устойчивого прироста, а иногда чуть ухудшала качество при росте токенов. Различия между размерами моделей выражены чётко — набор действительно дифференцирует.

Веб‑взаимодействия

Сравнивались два агента: SoM (визуальные метки) и Agent S 2.5 (рефлексия и память). Agent S 2.5 почти везде лучше. На gemini‑2.5‑flash общий успех: SoM — 14,51%, Agent S 2.5 — 69,20%. Qwen2.5‑VL‑72B занял второе место, gpt‑4o‑mini оказался конкурентным на отдельных подзадачах. Модели меньшего размера заметно слабее, что снова показывает дифференцирующую способность бенчмарка. Вывод напрашивается: рефлексия на этапе выполнения и более богатая память помогают агентам устойчивее проходить многошаговые веб‑сценарии.

Почему это важно

• Граф как “пространство задач” объединяет документы и веб в единую логику и даёт контроль над сложностью.

• Появляется автоматическая генерация интерактивных веб‑кейсов — редкая возможность для честной проверки агентов.

• Пайплайн масштабируется и воспроизводим: можно обновлять бенчмарк вместе с изменением источников, не переписывая всё вручную.

• Многомерная оценка (одиночный агент, мультиагентная система, веб‑агент) выявляет реальные пробелы — в рассуждении, кооперации и интерактивности.

Куда двигаться дальше

Авторы планируют добавить формальные политики безопасности и сборку проверяемых безопасных кейсов, а также использовать структуру графа для точной детекции ошибок. Это поможет не только мерить “общий балл”, но и объяснять, где именно агент теряется: в поиске нужного узла, в логической связке фактов или в управлении интерфейсом.

? Полная статья

? Код

***

Если вам интересна тема ИИ, подписывайтесь на мой Telegram‑канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.