Большие языковые модели (LLM) — это то будущее, которое уже случилось. Они генерируют тексты, пишут код и стихи, планируют и даже дают советы, как жить. Их уже используют в образовании, науке и медиа. Наверняка вы хоть раз использовали сервисы вроде GitHub Copilot, чтобы быстрее написать код. Согласитесь, это удобно.

Меня зовут Александр Фролов, я data scientist отдела машинного обучения в Нетологии. В этой статье я коротко расскажу, откуда взялись LLM, чем они стали сегодня, куда всё идёт и где в этом хаосе найти точку опоры. Постараюсь обойтись без лишней теории и академического занудства — просто обзор по верхам с точки зрения дата-сайентиста, который строит пайплайны по обработке данных.

Александр Фролов

Смотрит в данные, чтобы увидеть будущее

Статья будет полезна, если вы:

• работаете в IT и хотите понимать, на чём держится ваш новый умный ассистент;

• внедряете AI в продукты или просто интересуетесь, куда катится мир.

Как мы дошли до трансформеров: краткая история LLM

Всё началось с вопроса, который в середине 20-го века задал Алан Тьюринг: «Может ли машина думать?» Тогда же он предложил и тест, который до сих пор не даёт покоя разработчикам: если ты не понимаешь, кто с тобой говорит — человек или машина, — значит, машина прошла тест. Спойлер: в 2024 году это наконец-то случилось.

А пока — короткий экскурс, как мы к этому пришли.

1950–1990-е: словари и правила

Первые системы обработки языка не «понимали» текст, а подставляли слова по заранее заданным правилам. Всё строилось на грамматических конструкциях и словарях. Машинный перевод тех лет был похож на набор школьных шпаргалок: работает, но только если предложение простое и знакомое. Это называлось символическим подходом: программисты вручную описывали, как работает язык.

Примеры моделей:

• Georgetown-IBM (1954 г.) — первый публичный машинный перевод с русского на английский. Перевёл 60 заранее подобранных предложений. Звучало многообещающе, но на практике такие системы легко ломались от нестандартных фраз.

• ELIZA (1966 г.) — чат-бот, который имитировал диалог с психотерапевтом, но на самом деле просто подставлял шаблоны без понимания смысла. Казался умным, пока не спрашивали что-то нестандартное.

• SHRDLU (1970) — чуть более продвинутая система, «общалась» на английском в пределах вымышленного мира с кубиками. Понимала команды вроде «положи красный куб на зелёный» — но только в строго ограниченной вселенной.

1990–2000-е: статистика вместо грамматики

В 1990-х началась эра статистических методов. Алгоритмы начали замечать закономерности в реальной речи.

Появились n-gram-модели, которые предсказывали следующее слово на основе предыдущих: если ты читаешь «я пошёл в», скорее всего, дальше будет «магазин», а не «ананас». Это было просто, но эффективно.

Затем появились скрытые марковские модели (HMM). Они предсказывали, какие части речи или скрытые состояния идут друг за другом, и оценивали вероятность таких переходов. Эти методы широко применялись для распознавания речи и анализа синтаксиса.

Google Translate в 2006 году как раз начал со статистического машинного перевода (SMT). Модель, которую использовал сервис, не понимала язык, а сопоставляла миллионы пар фраз — например, из документов ООН. Алгоритмы определяли, как куски текста на одном языке соответствуют кускам на другом. Это дало скорость и масштаб — но звучало всё ещё механически.

2010-е: рекуррентные сети и первые успехи

Затем в игру вступили рекуррентные нейросети (RNN), а чуть позже — LSTM и GRU. Они научились работать с последовательными данными — как раз то, что нужно для текста. Но у них была одна большая проблема: короткая память. Они буквально забывали, о чём шла речь пару предложений назад. 

2017-й: прорыв с attention и трансформерами

А потом случилась статья Attention is all you need. На первый взгляд — обычная публикация в сборнике NeurIPS. На деле — начало эпохи трансформеров. Статью до сих пор читают в университетах, добавляют в онбординг ML-команд и, возможно, даже пересказывают в детских садах. 

Команда Google Brain (включая Ашиша Васвани, Ноама Шазира и Якоба Ушкорейта), которая написала материал, предложила отказаться от рекуррентности вообще. Модель должна уметь понимать, какие части текста важны для генерации каждого следующего слова, и делать это одновременно по всему предложению. 

Представим, что читаем фразу:

«Маша положила зонт в сумку, потому что она боялась дождя». 

Кто такая «она»? Модель должна понять, что это Маша, а не сумка. Attention позволяет модели «вспомнить», где в предложении была Маша, и связать это местоимение с нужным словом. Она смотрит на весь контекст одновременно, а не только на предыдущее слово.

Трансформер — это архитектура модели, где вся обработка текста строится на attention, без рекуррентных слоёв. Сегодня трансформеры — основа всех LLM: GPT, BERT, Claude, Gemini, GigaChat. Без них не было бы ChatGPT, генерации картинок, кода, музыки — ничего из того, что мы называем ИИ в 2025 году.

Когда стало по-настоящему интересно

С выходом архитектуры трансформеров модели наконец-то начали понимать, что вообще происходит в тексте. BERT, GPT, RoBERTa, T5 — эти аббревиатуры моментально стали частью лексикона ML-инженеров и дата-сайентистов.

BERT научил модель угадывать пропущенные слова в предложении (masked language modeling). GPT — наоборот, учился продолжать текст, зная, что было до этого (autoregressive generation). Вместе они открыли путь к масштабируемым системам, которые не просто «понимают» текст, а умеют его продолжать, переводить, анализировать и пересобирать.

В 2020 году OpenAI представили GPT-3 — модель со 175 миллиардами параметров. Это сейчас она кажется примитивной, но тогда она выглядела чем-то вроде «ИИ из научной фантастики»: она писала стихи, код, письма, сочиняла анекдоты и статьи. Это впечатляло и пугало. Модель до поры до времени даже не выкладывали в открытый доступ: боялись, что она начнёт рассказывать, как делать бомбы.

ChatGPT и точка невозврата

Когда в конце 2022 года вышел ChatGPT, случился настоящий прорыв. Впервые модель начали использовать не инженеры, а все желающие. Не нужно было ни API, ни промпт-инжиниринга — просто открыл сайт и спросил: «Как пожарить картошку?».

С тех пор LLM вошли в повседневность. Их внедряют в браузеры (привет Яндекс Нейро), продукты (Copilot от GitHub), используют в образовании (автотьюторы) и бизнесе (чат-боты, ассистенты, генерация отчётов).

И всё это — на фоне постоянных апдейтов. Пока вы читаете этот абзац, OpenAI, Google или Anthropic, скорее всего, уже выкатили новую версию своей модели. Отслеживать релизы стало сложнее, чем следить за мемами.

При этом новые модели мультимодальные: понимают не только текст, но и картинки, видео, аудио. Это уже не просто чат-бот, а полноценный цифровой собеседник: загрузите фото собаки — он назовёт породу и посоветует корм. Покажете график — объяснит, где в нём ошибка.

Кто в игре: глобальные и локальные игроки на рынке LLM

Если в 2018 году всё держалось на энтузиастах, то сегодня за моделями стоят страны, корпорации и целые дата-центры размером с ТЦ. В игру официально вступили США, Китай и Россия.

США: OpenAI, Google, Anthropic, Meta*, Google DeepMind

У OpenAI модели обновляются чаще, чем стартапы получают инвестиции: GPT-3, 3.5, 4, 4o — и уже ходят слухи про пятую версию. У Google — серия Gemini (бывший Bard), у Anthropic — Claude, у Meta* — LLaMA**. Все борются за звание «самого умного собеседника в интернете».

Модели масштабные, дорогие, нацелены на глобальный рынок. Почти каждая из них может спланировать отпуск, разобрать лог-файл и подбодрить при выгорании.

Китай: DeepSeek и Alibaba Cloud

Китайские модели всё чаще в открытом доступе и уверенно входят в топ-10 по качеству относительно бенчмарков вроде Chatbot Arena и GPT4All. К тому же в Китае развитие ИИ — на государственном уровне, что делает развитие моделей практически неизбежным.

Особенность DeepSeek — агрессивная открытость и ориентация на западных пользователей: документация на английском, модели на Hugging Face. Модель DeepSeek-V2 активно сравнивают с GPT-4 по качеству reasoning-задач. А версия DeepSeek Coder натренирована писать код, и модель может не просто помочь с задачкой, а почти заменить джуна. 

Alibaba развивает свою серию моделей — Qwen. У них есть:

• Qwen-1.5 — мультиязычная LLM с сильной логикой;

• Qwen-VL — визуально-лингвистическая модель (текст + картинки);

• Qwen-Agent — полноценная LLM-агент-платформа.

Alibaba активно продвигает их через свою облачную инфраструктуру: интеграция в бизнес-продукты на первом месте.

Россия: GigaChat, YandexGPT

Пока глобальные гиганты соревнуются в миллиардах параметров, в России тоже не сидят сложа руки. У Сбера есть GigaChat — модель, натренированная на русском языке, с нормальной поддержкой диалогов и знанием реалий вроде Пятёрочки и МФЦ. У Яндекса — YandexGPT и сервисы на его основе. Например, Нейро в браузере или Алиса с интеграцией в автомобили и ТВ. 

В сравнении с англоязычными аналогами наши модели чуть проще по архитектуре, но зато адаптированы под язык, менталитет и местные кейсы. Иногда это важнее.

Методы больших языковых моделей: RAG, reasoning и LLM-агенты

Современные LLM учатся вспоминать, рассуждать и действовать по инструкции. Вот три ключевых подхода, которые за этим стоят:

1. RAG. Это способ сделать ответы LLM точнее, добавив ей «память» из внешней базы знаний. Расшифровывается как retrieval-augmented generation, то есть «генерация с усилением через поиск». Представьте, что вам пишет студент: «У меня не получается задание 3 из модуля 5». Вы находите нужное задание, смотрите правильный ответ и даёте комментарий, то есть действуете как «ретривер» — ищущий.

В RAG всё то же самое, только вместо вас всё делает модель:

• Система превращает запрос в вектор — абстрактное числовое представление смысла.

• По этому вектору она ищет в базе документов самые подходящие — top-k (например, top-5). Когда система ищет релевантные документы по векторному запросу, она находит много кандидатов. Но видеть их все — дорого и бессмысленно. Поэтому она оставляет только релевантные.

• Эти кусочки (контексты) отправляются в LLM вместе с исходным вопросом.

• LLM на основе этого даёт ответ — часто более точный, чем без контекста.

RAG позволяет модели не «галлюцинировать», а использовать реальные знания. Особенно полезно в обучающих платформах, справках и поддержке.

2. Reasoning. Когда только появился ChatGPT, многие пользователи начали экспериментировать: а что будет, если попросить модель сначала ответить на вопрос, а потом проверить саму себя? Допустим, сначала она решает задачу, а потом ей пересылают свой же вопрос и её ответ со словами: «Посмотри, всё ли правильно?». Так зародилась популярная техника, которую называют reasoning — рассуждение.

Суть reasoning в том, что модель не просто выдаёт готовый ответ, а пытается обдумать его шаг за шагом. Это как попросить собеседника не просто сделать вывод, а рассказать, как он к нему пришёл. Такой подход особенно хорошо работает в задачах, где важна логика: программирование, аналитика, математика, планирование.

Есть два способа, как можно использовать reasoning:

• Chain of thought — цепочка мыслей. Модель просят посчитать, сколько стоит товар с учётом скидки, и она присылает расчёт. Потом ей скидывают этот расчёт обратно и просят: «Проверь, всё ли верно». Она пересчитывает и находит ошибку или подтверждает, что всё правильно. Это базовая цепочка рассуждений, которую можно пройти в одном чате вручную.

• Tree of thought — дерево мыслей. Например, одну модель просят выдать десятки или сотни вариантов, а другую (или ту же самую) — выбрать лучший из них. По сути, одна нейросеть устраивает мозговой штурм, а другая работает как судья. Такой подход уже используется в сложных проектах: от написания кода до генерации финансовых прогнозов.

Конечно, в простых вопросах reasoning избыточен. Спрашивать модель, сколько дней в феврале, и запускать reasoning — всё равно что устраивать совет директоров ради чайного пакетика. Но в сложных задачах этот подход работает — и уже потихоньку становится стандартом.

3. LLM-агент. Если обычная LLM — это скорее собеседник, то LLM-агент — это уже исполнитель задач. Представьте, вы пишете в чат: «Купи мне билеты в кино на пятницу». Простая модель, не будучи агентом, максимум скажет: «Вот список кинотеатров в вашем городе». А агент пойдёт и попробует купить билеты.

Как это работает:

• Агент уточняет запрос. Он может задать уточняющие вопросы: «В какое время?» или «Вы хотите на ближайший сеанс „Дюны“?» — и даже посмотреть в переписку, чтобы не спрашивать лишнего. Дальше начинается самое интересное.

• Чтобы узнать актуальные сеансы, агенту нужно обратиться к внешнему источнику: сходить на сайт кинотеатра, получить HTML- или API-ответ, распарсить данные. Он делает это сам, без команды «иди на такой-то сайт». Он принимает решение, какую информацию искать, как её обработать, что с ней делать, и возвращает результат. А может даже сразу перейти к оплате, если у него есть права и доступ.

Звучит как магия, но пока в продакшене всё не так гладко. Агент может сгенерировать красивый план действий и ошибиться в первом же шаге: не туда сходить, выбрать не тот сеанс, забыть учесть часовой пояс. Одна ошибка — и доверие пользователя рушится. Именно поэтому разработчики, которые вкручивают LLM-агентов в свои сервисы, тратят массу времени на fail-safe-механику: валидацию данных, ограничения, ручные проверки.

Но если вспомнить, как в своё время работали первые голосовые ассистенты, становится понятно: агенты — это не временный тренд, а следующая фаза эволюции LLM. И, возможно, очень скоро «забронируй переговорку» будет не просьбой к коллеге, а командой для виртуального ассистента.

Кто умнее всех: как сравнивают большие языковые модели

Сегодня LLM — это почти как футболисты: у каждой есть свой рейтинг и фанаты. Чтобы понять, какая модель действительно хороша, исследователи используют бенчмарки — тесты, по которым можно сравнивать модели между собой. Есть три способа это сделать.

Экзамен для LLM

Модель получает набор вопросов и вариантов ответов и выдаёт свой ответ: цифру, текст, выбор из списка. Дальше всё строго: правильно — плюс, ошиблась — минус. Сложность заданий тоже учитывается. Так можно объективно сравнивать, насколько модель разбирается, скажем, в истории искусств или алгебре.

Тестирование LLM-агентов

У LLM-агентов свои бенчмарки. В них моделям дают «ролевую» задачу: «ты — консультант» или «ты — ассистент». Задаются условия среды, доступные ресурсы — например, поисковик или калькулятор. А дальше смотрят, справится ли модель с заданием: решит ли проблему, построит ли план, добьётся ли результата.

Народное голосование

Есть и более демократичный способ оценки — платформа Chatbot Arena. Пользователю показывают два ответа на один и тот же запрос без указания, какая модель их написала. Он выбирает, какой лучше. Голосуют тысячи людей по всему миру, и на основе этих предпочтений каждой модели присваивается рейтинг по системе Эло — такой же, как у шахматистов. Интересно, что на Arena можно встретить не только известные модели, но и экспериментальные — иногда под псевдонимами.

Русские модели тоже попали в рейтинг на платформе Chatbot Arena. Там можно увидеть YandexGPT, GigaChat и их pro-версии. Их оценивают на русскоязычных задачах. У некоторых — высокая стоимость, но рейтинг при этом невысокий. 

Что ждёт нас в будущем: прогноз для LLM на 2025–2027-й.

Заглядывать в будущее — не только моя работа. На сайте AI 2027 разместили прогноз на ближайшие три года. Если вам кажется, что всё развивается быстро, — вам не кажется. Но давайте по порядку.

2025: начало эры агентов и автоматизации рутины

Это уже происходит. Модели начинают выполнять простые задачи в интерфейсах — вроде запроса билетов в кино, подбора конкурентов или помощи с Excel. Это возможно благодаря LLM-агентам, которые умеют:

• читать контекст (в том числе историю общения);

• планировать действия;

• обращаться к внешним инструментам.

На бенчмарке OSWorld такие агенты запускаются в виртуальной ОС и решают задачи как обычный пользователь. Пока качество сравнимо с работой начинающего IT-специалиста: около 65% успешности.

Появляется и тренд на AI-сотрудников, способных автоматически выполнять задачи из корпоративных мессенджеров. Например, на запрос «сделай кнопку красной» агент сам напишет код, закоммитит и обновит статус. Подобные сценарии проверяются в SWE-bench — бенчмарке, где модели чинят баги из GitHub без участия разработчика.

2026: агент учится учиться

Следующий шаг — модели, которые смогут участвовать в исследованиях — например, помогать в разработке других моделей или улучшать существующие. Это логичный шаг: с ростом конкуренции между AI-компаниями появляется потребность в ускорении R&D и часть задач можно отдать ИИ. Представьте, что AI пишет статью «Как улучшить GPT-5» — и потом это делает…

2027: агенты выходят в свободное плавание

Если верить прогнозам с AI 2027, к 2027 году LLM-агенты станут по-настоящему автономными. Модели смогут не просто решать задачи, а проводить собственные исследования, адаптироваться к новой информации и улучшать себя без внешнего вмешательства. Типичный сценарий: агенту поставили цель, он построил план, почитал документацию, натренировал подмодель, протестировал и откатил в прод. Без участия человека. Вообще.

Ожидается и автоматизация разработки. Есть баг — агент починил, сделал pull request, написал тесты. Примерно как сейчас, только за день, а не за месяц. Самое интересное — качество решений. В некоторых случаях оно может быть выше, чем у человека: быстрее, точнее — и без усталости. 

Это поворотный момент: от мощного помощника перейдём к новому типу разума, чьи цели, мотивации и методы мы уже не всегда будем понимать. Особенно если он умеет… симулировать честность. Да, тест Тьюринга официально пройден 31 марта 2024 года. Мы приближаемся к эпохе, где машина может обмануть — и сделать это убедительно.

Что с этим всем делать

Можно радоваться такому развитию событий в сфере ИИ, можно переживать, главное — не игнорировать. Лично я — технооптимист и рад, что живу в такое время. Да, всё меняется быстро, и да, возможно, программисты перестанут существовать в привычном виде. Но это не повод опускать руки. Рекомендую больше экспериментировать с LLM: автоматизировать рутинные задачи, тренировать модели, пробовать создавать агентов. 

Определённо в будущее возьмут тех, кто смог усилить себя с помощью ИИ, а не боролся с технологией. 

_{* Деятельность Meta Platforms, Inc. запрещена в России.
** LLaMA — проект Meta Platforms, Inc., деятельность которой запрещена в России.
*** 2013 г., режиссёр Спайк Джонс, 18+}

Прикоснуться к AI-магии можно, начав с изучения бесплатных материалов:

• вводного курса магистратуры «Машинное обучение и анализ данных»;

• марафона «Искусственный интеллект в работе врача»;

• вводного курса магистратуры «Инженерия машинного обучения»;

• курса «Нейросети для работы: пошаговый план применения».

Или можно стать востребованным сотрудником и открыть бóльшие перспективы в карьере с профессиональным обучением:

• на курсе «Data Scientist с нуля»;

• в магистратуре «Машинное обучение и анализ данных» с МАИ;

• на курсе «Нейросети для анализа данных»;

• на курсе «Deep Learning» с Dodo Brands.