Недавно мне довелось дважды выступить с докладом об агентном искусственном интеллекте: сначала на междисциплинарном научном семинаре СМУ РАН «Выбор в науке», а затем в рамках «Научного кафе» Тульского государственного университета.

Несмотря на разную аудиторию, оба выступления показали, что интерес к агентным системам сегодня выходит далеко за пределы узкого круга специалистов по машинному обучению. На семинаре СМУ РАН мы обсуждали архитектуру автономных агентов, способы их координации, применение в научных исследованиях и вопросы доверия к результатам. В ТулГУ разговор продолжился уже со студентами технических и ИТ-направлений, интересных вопросов тут было много. 

По итогам этих встреч решил собрать основные тезисы выступлений в статью. Попробуем разобраться, что сегодня называют агентным искусственным интеллектом, как устроены такие системы, чем они отличаются от привычных языковых моделей и какие задачи они могут решать. 

Откуда берется "правдоподобный" текст

Пять лет назад "поговорить с нейросетью" означало написать запрос и получить правдоподобный ответ. Сегодня система сама ищет источники, запускает код, сверяет результат и продолжает работу, пока не достигнет цели. Это уже не чат-бот, а агент. Разберем, почему этот переход неизбежен, как он устроен внутри и что он меняет для науки и практики.

Рис. 1. Текст — это последовательность токенов.
Рис. 1. Текст — это последовательность токенов.

Любая современная модель работает не с буквами и словами, а с токенами — короткими последовательностями символов, которым присвоен номер в фиксированном словаре. Текст для модели — это просто список чисел. Отсюда первое ограничение: все, чего нет в словаре, модель не обрабатывает. Решают это токенизаторы вроде BPE и Unigram, покрывающие почти любые тексты, включая код и редкие языки.

Формально языковая модель — это функция, которая по началу фразы предсказывает для каждого токена словаря вероятность оказаться следующим в этой последовательности:

p(w_t|w_{t-1},...) = \frac{exp(z_w)}{Σ_{w'} exp(z_{w'})},

где z_w — "оценка" токена w, вычисленная моделью. Звучит как автодополнение в смартфоне — но с на порядок более богатым контекстом. И это ключевой момент: модель генерирует правдоподобное продолжение, а не проверенное знание. Именно здесь корень галлюцинаций — ошибок, при которых ответ не соответствует действительности или запросу. Это системное свойство вероятностного моделирования, а не "баг" отдельного сервиса.

Как рождается следующий токен

Вероятность токена это хорошо, но как имея вероятность получить этот следующий токен? Взять наиболее вероятный? Не все так просто! Ниже приведен пример наиболее популярных методов выбора следующего токена:

  • Жадный выбор. На каждом шаге берется токен с максимальной вероятностью. Результат детерминирован, но часто слишком предсказуем.

  • Beam search. Держится несколько вариантов продолжения, лучший выбирается по заданному критерию. Качество выше, но вычисления дороже.

  • Сэмплирование. Токен выбирается случайно с вероятностями модели. Дает вариативность, но допускает маловероятные продолжения. Именно сэмплирование — основа современных сервисов.

  • Отсечение. Отбрасывание маловероятных токенов (top-p, top-k) повышает качество при сохранении вариативности.

Рис. 2. Рост контекста — линия развития моделей.
Рис. 2. Рост контекста — линия развития моделей.

Одной из ключевых точек роста современных моделей это увеличение контекста. Т9 в телефоне прекрасно дополнял слова используя контекст 2-3 символа, но этого мало для настоящей генерации. Контекст, в свою очередь, это число одновременно учитываемых токенов. Рост размера контекста стал одной из ключевых линий развития современных моделей (рис.2): у n-грамм это единицы, у LSTM — до сотни, у первых трансформеров — до 2048, а у современных больших языковых моделей — сотни тысяч и больше. Причем некоторые современные модели могут обрабатывать контекст вплоть до 2млн. токенов (это можно поместить в контекст 3 раза по 4 тома "Войны и мир"!).

Краткая история: от Маркова до трансформеров

Путь к современным моделям это история того, как рос этот контекст и как модели научились избирательно его учитывать.

  • N-граммы (1913–1948). Цепь Маркова и n-граммная модель Шеннона считали частоты совместной встречаемости последовательностей в корпусе. Простые и прозрачные, но без обобщения: новую последовательность, не встречавшуюся в данных, они не генерировали.

  • Рекуррентные сети и LSTM (1997–2014). RNN учитывали всю поданную последовательность, но "память" была короткой. LSTM научилась хранить информацию о дальних токенах, вместе с этим контекст вырос до десятков токенов. Однако слова учитывались одинаково, порядок слов учитывался лишь частично.

  • Внимание и Transformer (2014–2017). Механизм внимания, который кратко можно описать простой формулой \text{softmax}(QK^T / \sqrt{d})V, где Q, K, V — запросы, ключи и значения дал возможность "выбирать" наиболее важные токены из всего контекста для генерации следующего токена. Это свойства локальности, позволило архитектуре трансформера стать базовой для всех современных моделей.

  • Масштабирование (2018–2020). GPT (117 млн), GPT-2 (1,5 млрд), GPT-3 (175 млрд параметров) показали: качество растет вместе с числом параметров и объемом данных. GPT-3 впервые уверенно генерировала код и решала новые задачи по примерам. Но появился и предел масштабирования, так как с одной стороны начались проблемы с данными, а с другой с ресурсами. Начали проявляется эффекты, что не всегда больше параметров это хорошо, появились первые работы по законам масштабирования больших языковых моделей.

Качество определяется не только размером

После GPT-3 стало ясно: "просто больше данных" уже не работает. Решающий сдвиг произошел, когда стадию предобучения (предсказание следующего токена на сыром тексте без разметки) дополнили дообучением на инструкциях — сначала на примерах желаемых ответов, потом на обратной связи пользователей (RLHF, 2022). Небольшой объем качественных данных дал огромный прирост: модель научилась следовать указаниям. С 2023 года подготовка и валидация данных признаны одним из важнейших факторов развития моделей.

Мультимодальность и открытые модели

Фактически, в 2023 году языковые модели перестали быть чисто текстовыми. GPT-4 стал работать не только с текстом, но и с изображениями и объектами документов, а контекстное окно выросло с 32 до 128 тысяч токенов в Turbo-версии. Практический вывод: современная модель — это продукт, где больше, чем собственно языковая модель. В него входят постобработка, фильтры и инструменты.

Обратная сторона первого такого продукта от OpenAI — закрытость. Конкретные архитектурные решения GPT-4 уже не раскрывались, что ограничивало независимую верификацию его свойств. И именно здесь в игру вступают открытые модели: семейства LLaMA, Alpaca, LLaMA 2 и Mistral которые стали первыми доступными для исследований и дообучения, их размеры были от 7 до 70 млрд параметров. Открытость позволяет воспроизводить эксперименты, изучать свойства и готовить адаптивные версии моделей.

MoE и спекулятивное декодирование. История моделей на этом не закончилась — после активного развития мультимодальности появились еще две вехи, напрямую повлиявшие на скорость генерации. Ключевой 2025 год связан с архитектурой Mixture of Experts (MoE): модели DeepSeek показали, как разреженная архитектура, когда при обработке задействуется лишь часть экспертных блоков, позволяет эффективнее расходовать вычислительные ресурсы и ускорять работу модели.

Следующий шаг пришелся на 2026 год — широкое распространение спекулятивного декодирования (Speculative Decoding). Здесь модель готовит и проверяет несколько токенов параллельно, что дополнительно ускоряет генерацию. Оба примера показывают, как быстро развивается область и насколько архитектурные решения определяют практические возможности систем ИИ — и именно они делают агентов, о которых пойдет речь дальше, не просто правдоподобными, а по-настоящему применимыми.

Где галюцинации там и детекторы

Как только машинная генерация обрела массовость в ноябре 2022го года, так сразу появилась задача эффективной детекции сгенерированных текстов. Отдельно хочу отметить, что у нашей команды первые наработки по детекции машинной генерации были еще в далеком 2018м году. Причем, первый качественный детектор мы получили летом 2022го года, за несколько месяцев до релиза ChatGPT и массовости машинной генерации! В целом наша команда продолжает заниматься этим в рамках системы обнаружения заимствований и детекции ИИ Думейт.

Методы детекции ИИ используются самые разные, от классических методов анализа стилистических особенностей текста на основе перплексии, до транспортерных моделей классификации (пишите в комментариях если хотите отдельный рассказ о том, как работают современные методы детекции машинной генерации, какие у этих систем есть плюсы и недостатки и как с этим жить). Развитие агентного подхода позволяет развивать продукты и с точки зрения пользовательского пути. В Думейт это помогло перейти от проверки к интерпретации результатов. Эту задачу решает ИИ-помощник в отчете: он анализирует документ, помогает разобраться в обнаруженных заимствованиях и признаках ИИ-генерации, выделяет слабые места и предлагает варианты доработки.

От чат-бота к агенту

Рис. 3. Чат-бот и агент: в чем разница.
Рис. 3. Чат-бот и агент: в чем разница.

Чат-бот отвечает один раз: y = f_θ(x). Агент действует иначе: y = f_θ(x, h), где h — состояние, включающее контекст, память и наблюдения (рис.3). Агент может уточнить запрос, выполнить действие, прочитать результат и продолжить. Поэтому агентность — свойство системы, а не отдельной модели.

Рабочее определение: агент — это система, где языковая модель выступает центром принятия решений и итеративно анализирует задачу, выбирает действие, получает результат и оценивает достижение цели. Формально:

Agent = (Model, Tools, Memory, Goal).

Цикл прост: рассуждение — действие — наблюдение — уточнение (шаблон ReAct). Критерий успеха — достигнут ли результат задачи, а не "похоже ли на текст".

Рис. 4. Компьютер как метафора агентной системы.
Рис. 4. Компьютер как метафора агентной системы.

Удобной аналогией является компьютер (рис.4): большая языковая модель — процессор, контекстное окно — оперативная память, внешняя память — диск, инструменты — драйверы, каркас агента — операционная система, а поведение — приложения. Модель без каркаса — процессор без ОС: мощность есть, пользы нет.

Что дают агенту инструменты, память и автономия

Возможности агента определяются инструментами и средой: поиск и базы знаний, выполнение кода, работа с документами, вызовы API, браузер и виртуальные окружения. Чем шире среда, тем выше требования к контролю.

Память делится на краткосрочную (текущий диалог, ограничен окном модели) и долгосрочную (векторные базы, RAG-извлечение по релевантности, файлы, выводы прошлых сессий). Память превращает агента из одноразового генератора в систему, способную накапливать и переиспользовать результаты.

Уровни автономии растут от чата и агента-исполнителя до автономного агента и мультиагентной системы. Выбор уровня является инженерным решением, зависящий от рисков и стоимости ошибки. Оптимальная архитектура это не всегда максимальная автономия, а управляемая автономия с контролем на критических шагах.

Как сравнивают языковые модели

Понять, кто «сильнее», сложнее, чем кажется. Метрики делятся на несколько типов.

  • Перплексия. Мера точности предсказания следующего токена на тестовом корпусе. Проста в расчете, но не отвечает на вопрос, полезен ли ответ. Обычно используется при обучении и редко при сравнении конкретных моделей.

  • Бенчмарки. Наборы заданий с известными ответами. Модели сравнивают по доле правильных решений тех либо иных задач. Вот один из примеров таких лидербордов.

  • Насыщение. Задания бенчмарков со временем попадают в обучающие корпуса, и рост результатов перестает отражать реальный прогресс.

  • Человеческая оценка. Сравнение ответов людьми с учетом инструкций. Дороже и менее воспроизводимо, но ближе к практике.

Оценка качества моделей на самом деле это одна из самостоятельных исследовательских задач. Метрики часто не полностью отражают полезность и надежность, а «сильнейшая» модель по одному бенчмарку не обязана быть лучшей в реальной работе.

Мультиагентные системы и координация

Разделение ролей (исследователь, исполнитель, планировщик, критик, интегратор) позволяет специализировать агентов и реализовать внутренний контроль качества на уровне системы. Координация также является отдельной инженерной задачей: оркестрация, общая память, "доска" результатов, взаимная критика и голосование. Появляются стандарты — протокол доступа к инструментам (MCP) и взаимодействия агентов (A2A).

Параллелизм дает эффект: вероятность найти решение растет с числом независимых попыток, то есть даже при 10% успеха на попытку 100 агентов почти гарантируют результат. В сентябре 2026 года OpenAI заявила о решении задачи Навье-Стокса, где параллельно работали около 10 000 агентов. Независимого подтверждения пока нет, математическое сообщество ответило петицией и мне кажется что это важно: масштаб не заменяет верификацию научного сообщества!

Наука на практике

Агенты уже работают в исследовательской практике. По опросу 46 исследователей, Deep Research — основной инструмент обзоров литературы у 67% участников, а полностью автономных агентов не использует никто. Есть и амбициозные системы: AI Scientist (полный цикл "идея — код — эксперимент — отчет — ревью", по данным разработчиков около 15 долларов за статью), самодвижущиеся лаборатории с байесовской оптимизацией и обучением с подкреплением, платформа "научный синапс" на национальной сети суперкомпьютеров. Заявленные результаты требуют академической верификации.

Рис. 5. Горизонт задач растет.
Рис. 5. Горизонт задач растет.

Горизонт задачи (длительность, которую агент решает с надежностью 50%) удваивался каждые 7 месяцев с 2019года, а по оценкам 2026 года начала удваиваться каждые 3–4 месяца (рис.5). OpenAI оценивает 50% успешности на задачах до 20 часов и 25% до 40. Дальше простая математика, если при 95% успеха на один шаг требуется выполнить 100 шагов, то итоговая вероятность будет составлять лишь ~0.6%, так как в целом ошибки накапливаются.

Последнее время, я и наша команда активно разрабатываем отечественный аналоги агентных систем. В частности одним из таких результатов является агентное приложение Дуэйд (doaid) для решения широкого круга инженерных, исследовательских, аналитических задач. Исполнение может быть полностью отдано агенту, человек остается в контуре, но его роль смещается, он фактически выступает инициатором и архитектором задачи.

Саморефлексия и человек в контуре

Одиночный агент может и должен проверять сам себя. Саморефлексия — это когда агент оценивает собственный промежуточный результат и формирует уточненный план: h_t+1 = Reflect(y_t, h_t). Практически это запуск тестов, сверка с источниками и верификация формальных свойств. При неудаче это возврат к предыдущим шагам и смена стратегии. Но у саморефлексии есть предел: в длинных цепочках ошибки накапливаются, а уверенность в собственном результате может быть ложной. Поэтому саморефлексия не заменяет внешнюю верификацию.

В этой точке ключевым становится человек. Его роль смещается от исполнителя к постановщику задачи: он определяет цель, критерии успеха и допустимые действия, подтверждает критические шаги и ограничивает права агента. Прозрачность — журналы решений и объяснения — основа аудита и доверия. Самое важное: за результат отвечает человек, и эту ответственность нельзя переложить на агента.

Условия массового применения

Массовое применение агентов определит не скорость генерации, а надежность и доверенность систем. Ключевые условия:

  • Надежность. Воспроизводимость результатов, устойчивость к смене контекста, ясные границы применимости.

  • Верификация и аудит. Проверка выходов тестами, формальные свойства, независимые источники и журналы решений.

  • Доверенность. Права и доступ, безопасность среды выполнения, устойчивость к инъекциям.

  • Экономика и право. Стоимость вычислений и коммуникаций, ответственность, декларирование использования ИИ, стандарты практики.

  • Кадры. Постановка задач агентам, интерпретация и верификация результатов.

Метрики и верификация результатов

Чтобы прогресс был измеримым, нужны формальные модели агентных систем, метрики способностей и надежности с учетом длины задачи. Важны воспроизводимость и доказательность — пакеты из данных, моделей, метрик, а также версионирование и независимое воспроизведение. Отдельная роль у отраслевых бенчмарков с едиными процедурами сравнения. Прогресс агентного ИИ определяется не только моделями, но и развитием метрик, верификации и воспроизводимости.

Перспективы

Следующий этап — не замена человека, а существенное расширение его пропускной способности. К примеру адаптированный процесс научных исследований будет состоять из построения мультимодальных агентов, построения встроенных агентов в физические среды, обучение на собственном опыте и других подобных этапов. В свою очередь, OpenAI называет создание автоматизированного ИИ-исследователя к марту 2028 года одним из ключевых стратегических ориентиров своего развития.

Важная оговорка: скорость не равна достоверности. Массовое применение агентов определят не скорость генерации, а надежность, верифицируемость и доверенность систем. Экспертиза и проверка остаются за человеком — и это, пожалуй, главный вывод.

Комментарии (18)


  1. Mdm3
    13.11.2026 16:11

    Статья получилась будто слишком теоретической. Тот же harness, на мой взгляд, должен упоминаться не только в тегах. Ведь тот кто не понимает, что это, ему и полезна должна быть статья.


    1. andriygav Автор
      13.11.2026 16:11

      Сегодня уже пару раз получил такой комментарий от коллег, что получилась слишком сложной статья, думаю, что со временем сделаем более научно популярный формат.
      По поводу harness я последнее время очень сильно не люблю это слово, если честно:)
      По сути harness это уже конкретное приложение, которое решает конкретные задачи используя агент. Я больше люблю это называть агентным приложением.

      Мне тут очень нравится пример с компьютером на самом деле (впервые я его услышал от своего коллеги @vainah76пару месяцев назад). По сути harness у агентов это как приложение, которое мы запускаем в операционной системе, у него есть свои настройки, у него есть свои протоколы общения с разными инструментами в рамках своей работы.

      А так сам термин мне не нравится, не совсем понимаю, почему достаточно простое слово "окружение" агента так сильно заполонило весь интернет:) Конечно же в своем первозданном виде в английском языке harness это и значит, что у нас есть агент, а дальше к нему нужны: промты, инструменты, правила, скилы, история, база знаний и многое другое. И вот это все вместе уже образует "нечто" что можно использовать. Для меня повторюсь ближе все же агентное приложение.

      P.S. прошу прощение за длинный ответ, данное мнение является исключительно моим и оно может быть инным у других, но так как этот вопрос задали, решил "кратко" поделится им


      1. bkisonka
        13.11.2026 16:11

        Чат-бот отвечает один раз: y = f_θ(x). Агент действует иначе: y = f_θ(x, h), где h — состояние, включающее контекст, память и наблюдения (рис.3). Агент может уточнить запрос, выполнить действие, прочитать результат и продолжить. Поэтому агентность — свойство системы, а не отдельной модели.

        Ну давайте разберём: Ошибка 1: y = f_θ(x) для чат-бота — ложь. У чат-бота состояние есть: история диалога. Это ровно тот же h — «контекст», просто наполняемый собеседником. Формула честно описывала бы только однократный «вопрос-ответ без истории», то есть не чат. И по мелочи: даже «отвечает один раз» — на самом деле цикл: модель пишет по кусочку, каждый свой кусочек подкладывает обратно и пишет следующий. Цикл спрятан уже в «простом» случае.

        Ошибка 2: y = f_θ(x, h) приписывает модели второй вход «состояние». Такого входа у сети нет. Контекст, память и наблюдения — это текст, который внешняя программа (обвязка, harness) собирает и подкладывает в тот же единственный вход. Модель в чате и в агенте — одна и та же функция с одной и той же сигнатурой; разница не внутри f, а в том, что происходит между вызовами. Кстати, «h включает контекст, память и наблюдения» — склейка в один аргумент трёх вещей с разной природой: стол, внешняя записная книжка и выхлоп инструментов.

        Ошибка 3, ироничная: из формулы следует противоположный вывод. Если агент — это f_θ(x, h), функция со специальным аргументом состояния, то агентность встроена в модель: у агента — другая сигнатура, другой механизм. Тезис же «агентность — свойство системы» верен именно потому, что f не меняется вообще: та же функция, а агентность даёт петля вокруг неё.


        1. andriygav Автор
          13.11.2026 16:11

          В целом слово агент больше уходит в смежную область... И туда я уходить точно не хочу, так как там не являюсь экспертом. Точнее всего этот термин введен (по моему мнению) в теории социальных сетей, где под агентом подразумевается произвольная сущность, которая взаимодействует с другими сущностями (методы взаимодействия могут быть разные, тут боюсь соврать, поэтому лучше почитать соотвествующую литературу). Ну и в социальных сетях в качестве агента обычно подразумевается как раз человек, который может взаимодействовать с другими.

          Но ключевое из теории социальных сетей, агент, это некоторая сущность, которая умеет взаимодействовать. И это мы и возьмем за основу. Далее, требуется определить, что такое все же ИИ-агент. Вот перенося из общей теории, получаем, что это некоторая сущность на базе большой языковой модели, которая может взаимодействовать с внешними сущностями (языковая модель используется для принятия решения о типе взаимодействия в конкретной ситуации).

          Если вернутся к докладу и ко мне, то я под словом агент понимаю некоторое отображение, которое по заданному входу выбирает действие, которое переводит систему в новое состояние. Под ИИ-агентом, подразумеваю отображение задаваемое большой языковой модели.


  1. marmeladigital
    13.11.2026 16:11

    OpenAI оценивает 50% успешности на задачах до 20 часов и 25% до 40

    Многие и без нейросетей так работают


    1. andriygav Автор
      13.11.2026 16:11

      тут больше не про то, что если человек использует нейросети, то он будет выполнять задачу успешно на 50%, а про то что нейросети автономно (без человека) столько-то часов могут работать без ошибок.

      Но я соглашусь:) 50% ошибок при непрерывной работе в 20 часов - такому результату любой человек может только позавидовать! А если еще и учесть, что за 1час агент успевает сделать столько же сколько команда людей за спринт (это сугубо наши оценки внутри компании, по нашей производительности и производительности коллег), то становится с одной стороны страшно, а с другой очень интересно!


      1. marmeladigital
        13.11.2026 16:11

        Согласен, по скорости с агентами человеку уже невозможно конкурировать. Еще интересно, сколько времени в итоге экономится с учетом проверки и исправления ошибок. Хотя даже при нынешних показателях они уже дают колоссальную экономию времени


        1. andriygav Автор
          13.11.2026 16:11

          Выскажу наше мнение с коллегами, оно не обязательно верное, но на практике подтверждается (как говорится эмпирическим путем установлено).

          Проще всего на агента переходят те, кто раньше руководили людьми. Не только агенты, а и люди умеют галлюцинировать (я про галлюцинации людей люблю всегда приводить в пример ответы студентов на экзамене, когда студенты не знают правильный ответ, любая LLM позавидует их галлюцинациям!). Вот, что обычно делают руководители? Тут я подразумеваю всех: это могут быть тимлиды, могут быть научные руководители в институтах и тд и тп. Ключевое, у руководителя много людей, которые пишут код, проверять этот код физически невозможно (если ты читаешь весь код своего сотрудника, то ты наверное что-то делаешь не так). Обычно для проверки на то, сделано ли все правильно руководители ставят контрольные вопросы исполнителю "а этот случай ты как обработал? Хм. Интересно, а это учел?" и из ответов на такие вопросы о том, что нужно было сделать всегда легко было понять все ли сделано, что нужно доделать и нужны ли вообще доработки. В целом тоже самое я сейчас делаю с агентами (до этого я работал в Cursor, но после блокировок в сентябре, делаю с нашим {do}Aid): сначала ставлю задачу, он выполняет, потом я спрашиваю "а вот тут ты что сделал? а это ты как исправил?", а потом бывают разные ответы от уверенных до "оправдательных". Вот если агент начинает увиливать от ответа (вот также как люди при ответы на вопросы которые они не знают ответа), то значит тут нужно копать и разбираться, а если отвечает понятно и по делу, то в целом можно идти дальше. Как-то так мы построили у себя взаимодействия с агентами:) Допрашиваем их также как раньше допрашивали своих сотрудников:)

          P.S. а еще вспомнил, что я в жизни не писал столько тестов, как последнее время их пишет агент. Для меня десяток тестов было "победа", сейчас у каждого проекта по несколько тысяч тестов, которые автоматически тестируют любые изменения агента - прелесть.


          1. marmeladigital
            13.11.2026 16:11

            Опыт руководства действительно помогает: со временем уже понимаешь, какие вопросы задать, чтобы быстро выяснить, где исполнитель что-то упустил. С агентами это работает даже лучше, потому что можно сколько угодно уточнять, перепроверять и возвращать на доработку. Никто не устает от вопросов, не воспринимает замечания на свой счет и не пытается закончить рабочий день пораньше :)


            1. andriygav Автор
              13.11.2026 16:11

              Вот вот! Полностью согласен:)

              Немного вкину другую проблему на этот счет... Пару месяцев назад меня один студент спросил "а как же нам теперь получить этот опыт задавать правильные вопросы?". В том плане, что теперь собственного опыта набитая шишек работая один над задачей нет (лично у меня опыт был получен за счет большого времени проведенным за написанием кода, у нового поколения такой возможности нет).

              В целом меня этот вопрос поставил в тупик, если у кого-то есть ответ на этот вопрос я был бы признательным:)


            1. bkisonka
              13.11.2026 16:11

              Ну да. Цифровое рабство. В качестве рабов - агенты. Только учтите простую формулу - У агента сотни мелких решений подряд, и осечка любого портит все следующие. Арифметика для масштаба: если каждый шаг выходит идеально с вероятностью 99%, то за 200 шагов хотя бы одна осечка случится с вероятностью около 87% (математика: 0,99²⁰⁰ ≈ 0,13 - шанс дойти до конца без единой). Не каждая осечка фатальна - часть агент замечает и чинит сам, - но направление ясное: маленькая просадка шага превращается в большую просадку задачи. Но вот c архитектурой LLM за 99% перейти не получится. Так что часть задач выполненная “рабами” будет нести ошибки. Возможно, фатальные. Но вы об этом не узнаете до проявления результата, т.к. нейросеть не может не выдать результат. А когда она его выдаёт, то это выглядит максимально правдоподобно. Тоже свойство архитектуры.


              1. andriygav Автор
                13.11.2026 16:11

                Полностью с Вами согласен, в этом есть ограничение. Но с другой стороны тут есть другой эффект, если запускать 100 раз параллельно с одним стартом, то вероятность, что хотя бы один до конца успешно сильно вырастает.

                И как раз сейчас все гиганты работают над тем, чтобы сделать эту автономность как можно более длинной (улучшить исправление и тд и тп, чтобы вероятность успеха конечная была выше, а если быть точным, чтобы можно было сделать больше шагов с достаточно большой вероятностью).

                Я как раз об этом в статье тоже говорил, что ключевое, что число автономных шагов растет. Если пару лет назад хорошим показателем считалось 5-10 шагов, то сейчас эти показатели уже больше 100 шагов. И число автономных шагов растет.


                1. bkisonka
                  13.11.2026 16:11

                  То есть Вы оцениваете эффективность и точность выполнения задач агентом по числу автономных шагов? Чем больше, тем лучше? Да. Если он работает над разными задачами. Но для одной задачи больше шагов - больше накопление ошибок. Больше вероятность её неверного решения. И то, что запустят 100 агентов для одной задачи никак не гарантирует её точного решения. Более того, если запустить 100 агентов в режиме swarm, то без внешнего контролёра они просто не будут способны правильно решить задачу. Правдоподобно, да. Вопрос - кого ставим на роль контролёра за сотней агентов?


                  1. andriygav Автор
                    13.11.2026 16:11

                    Прошу прощение, позволю себе встречный вопрос: "Кого ставим контролером за сотней сотрудников?"

                    Возможно меня как-то не верно поняли, я ведь не говорю, что современный ИИ заменит всех. Но я считаю, что он позволяет сильно ускорить работу, но пока нужны люди, которые работают с этими агентами.

                    По поводу эффективности, я меряю эффективность агентных систем очень просто: помогают ли они людям решать их задачи или нет. Очень простая и всем понятная метрика. Если система решает задачу пользователя - она молодец, если она не решает задачу пользователя не молодец. Чем больше разных задач система может решить тем она лучше. Все просто.

                    Число шагов для решения, наверное хотелось бы минимизировать, но это уже удобство использования.

                    Тут на самом деле затрагивается хорошая тема того, а какого качества нужна LLM для работы? Чем выше качества LLM тем меньше шагов нужно для решения задачи -> меньше накопленной ошибки -> стабильнее результат. Кажется очевидно, что нужна максимально качественная LLM. Но тут сразу возникает вопрос, а точно ли нужно? А может если бы я решал задачу не за 1шаг, а за 10шагов, моделью на 10% глупее, но быстрее в 10 раз, это лучше или хуже? У меня нет сейчас точного ответа на этот вопрос, я склонен к тому, что нужно выбирать сложность модели под сложность поставленной задачи. И даже с учетом, что есть накопление ошибки.

                    P.S. когда я говорил про 100агентов, я конечно же имел ввиду независимых агентов, а не рой агентов.


                    1. bkisonka
                      13.11.2026 16:11

                      Прошу прощение, позволю себе встречный вопрос: “Кого ставим контролером за сотней сотрудников?”

                      Того же, кого и за агентами - человека.

                      Тут на самом деле затрагивается хорошая тема того, а какого качества нужна LLM для работы? Чем выше качества LLM тем меньше шагов нужно для решения задачи -> меньше накопленной ошибки -> стабильнее результат. Кажется очевидно, что нужна максимально качественная LLM.

                      Поясните пожалуйста на уровне метрик, что такое качество LLM? Критерии отбора?


                      1. andriygav Автор
                        13.11.2026 16:11

                        Имею ввиду рейтинги LLM-моеделй, к примеру как (разных таких бенчмарков есть много, я чаще всего этим ресурсом пользуюсь последнее время): https://benchlm.ai

                        P.S. конечно же, они сейчас оценивает не только LLM, а уже сразу LLM в связке с агентами часто, когда вводят метрики написания кода в каком-то из агентов-кодеров.


  1. bkisonka
    13.11.2026 16:11

    Я думаю, что рейтинг и качество - это разные вещи. Рейтинг - это только точка входа. Вы отбираете модель, с которой будете работать. А качество - это результат её работы на вашем наборе задач. И решение данного набора задач отвечает на вопрос «какая модель решает мои задачи с приемлемой ценой ошибки».


    1. andriygav Автор
      13.11.2026 16:11

      От части соглашусь, но рейтинг строится по некоторым метрикам качества, которые в совокупности задают порядок на множестве моделей по которому и строится рейтинг.

      К сожалению у меня сейчас нет отдельных исследований связанных с обучением LLM, где требовалось бы подробнее заниматься оценкой качества моделей LLM. Не хватает на это ни времени ни ресурсов (но больше не хватает вычислительных ресурсов).