В IT-сообществе не утихают обсуждения, есть ли в современных больших языковых моделях хоть капля настоящего интеллекта или перед нами просто раздутая до триллионов параметров таблица поиска, занимающаяся интерполяцией. Пока критики продолжают рассуждать о «стохастических попугаях», колмогоровской сложности и неизбежном коллапсе синтетических данных, разработчики фронтирных моделей (вроде Claude Opus4.6 или DeepSeek-V3.2) молча меняют правила игры, внедряя GRPO, DAPO и вычисления на этапе вывода.

На тг-канале AI4Dev мы поговорили с доктором технических наук и научным консультантом Artezio Владимиром Крыловым о том, что на самом деле происходит под капотом современных AI-систем и почему привычные метрики оценки интеллекта больше не работают.

Илья Суцкевер и последователи Маркуса Хаттера утверждают, что сжатие данных — это и есть интеллект. Идея такова: если модель идеально предсказывает следующий токен, минимизируя энтропию, она неизбежно восстанавливает причинно-следственные связи, породившие эти данные. Вы как математик согласны с тем, что колмогоровская сложность — это наш единственный объективный критерий интеллекта? Или же статистическая корреляция никогда не заменит каузальность и подлинное понимание причин?

Что вообще такое колмогоровская сложность? Как ее определить на практике, если это невычислимая функция? И функция какого аргумента? В классическом понимании она является функцией длины последовательности. Как тогда можно использовать этот критерий для определения «размера» или мощности искусственного интеллекта? С точки зрения математики мы должны сначала дать область определения: с последовательностями всё ясно, а какая «длина» у искусственного интеллекта? Что именно там сжимать?

По сути, колмогоровская сложность — это длина минимальной программы, способной воспроизвести объект. Значит, нам нужно определить длину минимальной программы, которая воспроизведет искусственный интеллект. Но что вообще значит «воспроизвести интеллект»? Если опираться на классический тест Тьюринга, когда мы дискутируем с невидимым собеседником через стену и не можем отличить машину от человека, то этот критерий во многом уже выполнен.

Проблема глубже. В экспериментах с интеллектом даже классическое понятие вероятности применять некорректно, потому что интеллект — это свойство конкретного человека или человечества в целом. С точки зрения теории вероятностей, человечество — это ансамбль людей. У каждого свой уникальный интеллект. Что здесь усреднять? Усреднять по времени развития одного человека? У младенца интеллекта в привычном понимании нет, с ним невозможно обмениваться мыслями через стену, он только кричит, когда хочет есть. А у человека в расцвете творческой и научной карьеры интеллект совершенно другой. И среднее по времени здесь не совпадет со средним по ансамблю — человеческий интеллект представляет собой абсолютно неэргодическую систему.

Поэтому на вопрос, является ли сжатие интеллектом, нельзя ответить, опираясь на существующие математические определения. Когда говорят о сложности Колмогорова, обычно имеют в виду оценки сверху: мы предполагаем, что длина программы не превысит определенного значения. Но на практике в качестве такой верхней оценки часто приходится брать длину самого исходного объекта. Например, есть последовательность из 200 символов, и мы пытаемся понять, как ее сжать и описать программой. Но как мы будем проводить подобную оценку для интеллекта? Анализируя генерируемые им последовательности? Не очень понятно, как именно их сжимать.

Мой ответ таков: я не согласен, что колмогоровская сложность является подходящим инструментом для измерения интеллекта. Она применима к символьным последовательностям, а не к абстрактным концепциям. Мы же не пытаемся вычислить «колмогоровскую сложность кирпича» или «колмогоровскую сложность человека». Так что здесь я с таким подходом не соглашусь.

Но человеческий интеллект мы ведь как-то измеряем. Как нам сопоставить систему оценки человеческого разума с системой оценки искусственного интеллекта, чтобы понять, сравнялись ли машины с нами. Насколько правильно применять к ИИ стандартные человеческие тесты, например, тесты на IQ? Напрямую их сравнивать — это вообще корректный подход?

Тест на IQ изобретен человечеством и достаточно успешно применяется психологами для исследования когнитивных способностей людей. Однако сам по себе он настроен на некое общее, усредненное понятие интеллекта. Порой не совсем ясно, о чем именно говорит этот показатель на практике. Существуют люди с высочайшим IQ, которые при этом совершенно оторваны от реальности, они витают в облаках и могут забыть, как пройти к ближайшему универмагу или библиотеке.

Тем не менее, когда стали искать метрики для ИИ, тесты на IQ пробовали применять постоянно. Для ранних моделей, таких как GPT-1, GPT-2 и их аналогов, это был практически единственный инструмент оценки. И уже тогда результаты поражали воображение: модели великолепно генерировали продолжение текста. Даже программный интерфейс (API), который тогда представили в OpenAI, так и назывался — Completions. То есть алгоритм просто статистически завершал начатую фразу. Именно из этого подхода и выросла концепция «стохастического попугая» и вся связанная с ней критика.

Давайте теперь вернемся к вопросу о том, не имеем ли мы в настоящее время дело с имитацией искусственного интеллекта, а вовсе не с самим ИИ. Но вот смотрите: когда мы говорим о жемчуге, вы сильно различаете понятия «имитация жемчуга» и «искусственный жемчуг»? При переводе на английский язык получится один и тот же термин — artificial pearl. Имитация по своей природе и есть нечто искусственное по отношению к исходному объекту.

Поэтому попытки жестко противопоставить «настоящий» искусственный интеллект и «имитацию» интеллекта кажутся мне странными. Здесь кроется терминологическая, когнитивная проблема. Что именно имеют в виду люди, задавая этот вопрос? Вероятно, они исходят из каких-то внутренних предпосылок. 

Известно, что нейросеть математически представляет собой универсальный аппроксиматор функций. Однако критики, например философ Джон Сёрл, указывают на то, что это может быть просто гигантская таблица поиска. Где проходит строгая математическая граница между банальным запоминанием и способностью к настоящему обобщению? Если большие языковые модели успешно проходят тесты исключительно на данных из своего исходного распределения (in-distribution), имеем ли мы право называть это интеллектом? Или перед нами лишь сложная интерполяция по многообразию?

Хороший вопрос. Только интерполяция по какому именно многообразию? Что образует это многообразие в математическом смысле? Давайте попробуем разобраться, при чем здесь аппроксиматор и распределение, из которого берется выборка.

Да, внутренний механизм работы современных LLM действительно опирается на выборку из вероятностного распределения. Из-за этого многие утверждают, что в основе всего лежит банальное предсказание следующего токена (Next Token Prediction). Но представьте, что вы смотрите на фрески Сикстинской капеллы и заявляете: то, что мы видим, — это просто специфическое математическое распределение красок на поверхности стены. Технически это, конечно, верно, но ведь суть фресок не сводится к краске на штукатурке. Так же и языковая модель не является просто генератором случайных выборок, работающим алгоритмом Next Token Prediction.

По этому поводу отлично высказался Илья Суцкевер. Он отметил, что если вы до сих пор повторяете мантру о том, что модель всего лишь предсказывает следующий токен, то вы не просто скептик, вы технически неграмотны. Сегодня нельзя считать, что ИИ просто обучен угадывать слова. Это лишь грубое начальное приближение.

Дальше модель, как принято говорить, «выращивается». Здесь уже уместнее использовать биологические метафоры. Вспомните, как появился метод RLHF (обучение с подкреплением на отзывах людей) и алгоритм PPO (Proximal Policy Optimization). Это было похоже на дрессировку: модель генерирует ответ, а человек-разметчик смотрит и оценивает — «хороший мальчик» или «плохой». Эта эра продлилась недолго. Модели стали вежливыми, безопасными, ориентированными на угождение пользователю, но большого ума у них не прибавилось.

Затем произошел переход к методам, направленным на прямую оптимизацию предпочтений, — DPO (Direct Preference Optimization). Оказалось, что DPO настолько глубоко корректирует веса, что у модели меняется фундаментальное понимание языка. Первичный этап мы стали называть просто предобучением (pre-training) — после него модель еще не готова к полноценной работе.

А в конце 2024 – начале 2025 года правила игры и вовсе изменились. Когда китайские исследователи опубликовали данные по модели DeepSeek-R1, они перестали просто заставлять сеть давать быстрые ответы. Модели начали обучать рассуждению, появился алгоритм GRPO (Group Relative Policy Optimization). Теперь качество модели во многом зависит от того, как выстроен этот процесс внутреннего логического поиска. По сути, внутри проходит турнир: модель генерирует, скажем, 16 различных путей решения задачи. Причем для оценки не используется внешний алгоритм-критик: модель сама сравнивает эти попытки друг с другом и определяет лучшую.

Поэтому сегодня можно смело утверждать: LLM — это не текстовый предсказатель. Это система логического мышления, обернутая в текстовый интерфейс. Да, внутри зашит аппроксиматор, а предсказание токена — это первая грубая настройка сети. Но сейчас мы живем в новом мире, где в эти искусственные архитектуры закладывается «понимание» контекста и сути решаемых задач,  основанное на слабо декомпозируемых отображениях в многомерных пространствах.

Следующий вопрос касается так называемого «проклятия обратного порядка» (Reversal Curse). Недавние исследования показывали: если языковая модель обучается на фразе «А — сын Б», она часто не способна сделать обратный логический вывод о том, что «Б — родитель А». Для человеческого интеллекта такой провал в базовой логике недопустим. Не доказывает ли это, что дистрибутивная семантика, где смысл формируется исключительно через соседство слов, — это тупиковый путь? Возможно, без внедрения символьной логики поверх нейросетей мы никогда не достигнем AGI?

Мне кажется, время уже смыло и это утверждение. Если вы возьмете любую адекватную современную LLM, вы этой проблемы просто не обнаружите.

Я постоянно работаю с искусственным интеллектом в том числе и на локальных моделях, прямо у себя дома, разворачивая и тестируя самые разные открытые модели. Я регулярно проверяю, на каком уровне сложности и при каком уменьшении параметров модель перестает справляться с задачами. Так вот, подобные логические реверсы сегодня решаются на раз-два даже крошечными моделями с объемом всего в один миллиард параметров.

Сейчас принято говорить о резком скачке способностей нейросетей при простом масштабировании числа параметров. Однако нашумевшая статья исследователей из Стэнфорда утверждает, что эмерджентность (внезапное появление новых свойств) — это лишь мираж, вызванный использованием нелинейных, дискретных метрик оценки. Возможно, интеллект накапливается скучно и линейно, а мы просто излишне антропоморфизируем оптимизацию функции потерь? Существует ли, на ваш взгляд, реальная точка фазового перехода, когда количество вычислительных элементов перерастает в подлинное качество мышления?

Это сложный вопрос, отсылающий нас к классическому парадоксу кучи: сколько песчинок нужно сложить вместе, чтобы их можно было назвать кучей? Точную границу здесь провести невозможно.

Вряд ли мы можем говорить об универсальном фазовом переходе в целом. Но, изучая каждую конкретную модель, мы можем её упрощать и фиксировать моменты резкого изменения способностей при изменении количества нейронов. Вы упомянули транзисторы, но правильнее говорить о вычислительных узлах нейросети, потому что субстрат, на котором работает интеллект, принципиального значения не имеет. Совершенно неважно, построен ли он на кремниевых транзисторах или на чем-то ином.

Сейчас этим вопросом серьезно занимаются биологи. Например, ученый Майкл Левин вырастил синтетические организмы — ксеноботы. Они созданы из клеток кожи лягушки, и в них нет вообще ни одного нейрона! Однако его коллектив показал поразительные вещи: ксеноботы и человеческий мозг, под завязку набитый нейронами, во многих сценариях выполняют весьма схожие задачи. Ученые использовали методы функциональной связности и многомерные информационные пространства. Оказалось, что картина электромагнитного излучения человеческого мозга при функциональной МРТ во многом идентична поведению электромагнитного поля вокруг ксенобота, когда тот решает базовые задачи — ищет пищу или стремится к размножению.

Получается удивительная вещь: нейронов в системе может не быть вообще, но она при этом обладает выраженным целенаправленным поведением и неким интеллектом.

Есть мнение, что галлюцинации LLM — это неизбежная цена за их креативность. С математической точки зрения это классический компромисс (trade-off) между стохастичностью и точностью. Как вы считаете, возможно ли в принципе создать абсолютно надежную нейросеть на базе текущей архитектуры трансформеров? Или вероятностная природа генерации навсегда закрывает этот путь к строгим инженерным системам?

Как я уже рассказывал в одной из лекций, галлюцинации являются следствием не архитектуры трансформера, а, по-видимому, того факта, что мы работаем с обученной специальным образом регрессионной (последовательной) моделью генерации текста.

Интересно посмотреть на альтернативы: сейчас существуют LLM, работающие как диффузионные модели. У них совершенно другой принцип: образ финального текста формируется не слово за словом, а возникает сразу целиком, постепенно проступая из шума. У меня на канале была отдельная лекция про диффузионные языковые модели. Естественно, возникает вопрос, а галлюцинируют ли они. Фундаментальных работ, которые бы четко ответили, связаны ли галлюцинации исключительно с последовательным характером генерации, пока я не видел. Но мы знаем, что визуальные диффузионные модели галлюцинируют прекрасно — вспомните генерацию шестого пальца на руках.

У текстовых диффузионных моделей есть плюс: они генерируют инференс почти на порядок быстрее. Однако обратите внимание: ведущие разработчики не бросились массово переводить свои фронтирные модели на диффузионную основу. Там хватает своих технических сложностей. Видимо, радикально проблема галлюцинаций пока не снимается и этими подходами.

Текстовая нейросеть выучивает статистические связи между словами, но не связь слова с реальным физическим объектом. Грубо говоря, текст ссылается только на текст. Обязателен ли мультимодальный опыт — способность видеть, слышать, физически трогать объекты (тот самый Embodied AI), чтобы разорвать этот замкнутый круг? Или же достаточно большой текстовый корпус уже содержит в себе «тень реального мира», достаточную для подлинного понимания?

Это очень хороший и активно обсуждаемый вопрос. Направление Embodied AI (воплощенный ИИ, помещенный в тело робота) действительно обещает нам золотые горы, предполагая, что физический опыт сделает ИИ более разумным.

Но давайте разберемся, что происходит с органами чувств такого агента. Вычислительная система все равно превращает сигналы с сенсоров в последовательности символов — видеотокены, аудиотокены. Внутри продолжает работать математика, те же трансформеры или схожие архитектуры.

Главный плюс воплощенного ИИ в том, что он может получать недокументированный опыт. Возьмем задачу, как застегнуть пуговицу или зашнуровать ботинок. В текстах практически невозможно найти исчерпывающее описание физической моторики этого процесса. А воплощенный ИИ может запустить цикл обучения с подкреплением: начал застегивать — ошибся, попробовал снова. Сто раз не получилось, на сто первый — застегнул, и алгоритм закрепил успешный паттерн.

Сейчас много говорят о «моделях мира» (World Models). Идея в том, что внутри ИИ обязательно должна быть физическая картина реальности. Если эта модель мира доступна ИИ, он будет принимать решения с учетом пространственных координат: где верх, низ, право и лево в привязке к его положению. Для чисто текстовой модели эти понятия абсолютно абстрактны и равнозначны. Наличие модели мира позволит предсказать реальную физику — например, куда покатится шарик, если выпустить его из руки.

Но я люблю приводить следующий пример. Наш мир не описывается исключительно ньютоновской механикой, которую легко визуализировать и заложить в робота. Есть, например, еще квантовые эффекты. И если вы начнете задавать воплощенному ИИ вопросы о квантовой физике, наличие физического тела-манипулятора ему ничем не поможет. Он ничего не поймет про квантовую запутанность из личного опыта. Он сможет лишь оперировать математическими теоремами и текстами, как и обычная LLM. А математику и строгую логику мы уже сейчас можем закладывать в виртуальных AI-агентов, и они будут прекрасно проверять гипотезы и делать выводы без всякого роботела.

До недавнего времени главным законом развития ИИ был Scaling Law (закон масштабирования): больше данных и параметров — лучше результат. Но сейчас мы видим переход к вычислениям на этапе вывода (test-time compute). В моделях вроде o1 от OpenAI (проект Strawberry) оказывается эффективнее дать нейросети «подумать» 10 секунд и сгенерировать скрытую цепочку рассуждений, чем просто увеличивать размер самой модели в 10 раз. Не означает ли это, что архитектура трансформера изначально дефектна для сложной логики? Получается, мы вынуждены «костылить» поиск по дереву решений прямо во время инференса, потому что базовое предсказание следующего токена (Next Token Prediction) математически не способно на глубокое планирование?

Строго говоря, сейчас в авангарде уже нет моделей, которые обучены исключительно на Next Token Prediction. Вы, конечно, можете написать такую базовую сеть в качестве эксперимента, но все современные промышленные модели обязательно проходят через механизмы, которые мы называем элайнментом (alignment — выравнивание, воспитание), например, через алгоритм GRPO или DAPO. Эти алгоритмы радикально корректируют коэффициенты сети, поэтому сводить работу современной модели к простому угадыванию следующего слова уже некорректно.

Что касается упомянутого test-time compute: то, что мы наблюдаем, — это классический эффект насыщения. Раньше развитие шло в основном по двум осям: мы строили зависимость уменьшения ошибки от объема обучающих данных и от количества параметров. Теперь четко выстроилась третья ось: сколько времени мы даем модели на рассуждения, «обдумывание» ответа в момент генерации.

И это, кстати, очень органично перекликается с тем, как мыслит человек. Вот вы задали мне вопрос. Я использую не только тот багаж знаний, который накопил за жизнь до этого момента (аналог предобучения). Я беру паузу и развиваю свой ответ прямо сейчас, в процессе собственного «инференса».

Дело не в том, что я как-то особенно защищаю трансформеры. Я не являюсь безусловным апологетом конкретных архитектур. Но попытаюсь объяснить ситуацию с математической точки зрения. В общей теории систем, которой я много занимался (в частности, теорией D-моделей), есть теорема о факторизации отображений. Не уходя глубоко в изложение, суть такова: при отображении из одного множества в другое всегда можно построить промежуточное, латентное пространство на основе отношений эквивалентности.

В архитектуре трансформера это внутреннее латентное пространство реализовано инженерно — в виде эмбеддингов (embeddings). Вы берете цепочку входных токенов и превращаете каждый в многомерный вектор. Точную оптимальную размерность никто пока не знает: сделаешь слишком большую — будет работать медленно, слишком маленькую — упадет качество. Но суть в том, что эмбеддинги базируются на глубокой математической теореме: это инженерная имплементация декомпозиции отображений.

Поэтому прямо сейчас разглядеть какую-то принципиально иную доминирующую архитектуру сложно. Возможно, стоит еще раз обратить внимание на языковые диффузионные модели. Появляются и наверняка будут появляться и другие подходы. Нас точно ждет смена аппаратного субстрата: мы начнем уходить от монополии NVIDIA и вообще классической кремниевой архитектуры. Однако в любом случае алгоритмы искусственного интеллекта так или иначе будут опираться на упрощения в латентном пространстве. Конечно, можно попробовать уйти в рекуррентные архитектуры пространства состояний, например, реализовать всё на базе Mamba, но это пока открытые вопросы.

Исследователи из Anthropic недавно обнаружили феномен суперпозиции: нейросеть умудряется упаковывать в свои нейроны гораздо больше смыслов, чем у нее есть измерений. Для этого она использует почти ортогональные направления в многомерном пространстве. Получается, что мы никогда не сможем в прямом смысле «прочитать мысли» ИИ, просто глядя на активации конкретных нейронов, потому что смыслы запутаны в переполненном базисе. Значит ли это, что строгая математическая доказуемость и гарантия безопасности ИИ невозможны в принципе?

Пожалуй, я соглашусь. Строго и математически доказать абсолютную безопасность нам, скорее всего, не удастся хотя бы потому, что мы сами до конца не понимаем, что такое безопасность в абсолютном, всеобъемлющем смысле.

Но мы можем научиться контролировать этот процесс. В упомянутых исследованиях используется метод разреженных автоэнкодеров (sparse autoencoders). С их помощью нейронная активность отображается на конкретные точки в концептуальном пространстве. И там действительно возникает та самая сложность: один и тот же физический нейрон может участвовать в кодировании совершенно разных концептов, а один концепт может активировать целую группу разных нейронов.

Это направление сейчас называется механистической интерпретируемостью (mechanistic interpretability). И одно из главных практических ее приложений  — как раз обеспечение безопасности. Идея в том, чтобы научиться принудительно деактивировать определенные концепты. Если мы их «выключаем» на уровне векторов, то в процессе генерации они просто не появятся на выходе. Но пока, да, это работает на уровне перечисления: мы задаем список нежелательных концептов и блокируем их, чтобы модели это просто «не приходило в голову».

В конце 2024 года вышла серия работ, описывающих проблему коллапса моделей (Model Collapse). Суть в том, что когда новые нейросети начинают обучаться на данных, сгенерированных предыдущими поколениями ИИ, распределение вероятностей схлопывается, а «хвосты» распределения — где часто хранятся редкие, но важные знания — исчезают. Математически это сравнивают с потерей информации при многократном пересохранении JPEG-картинки. Если интернет заполнится синтетическим контентом, ждет ли нас энтропийная смерть искусственного интеллекта? Или методы вроде Self-Play (игра с самим собой) способны генерировать принципиально новую информацию внутри закрытой системы, нарушая этот закон деградации?

Вопрос серьезный, но за ним, на мой взгляд, кроется несколько устаревшее понимание того, как работают LLM.

Это как с автомобилем. Вы открываете капот Ferrari, смотрите на двигатель внутреннего сгорания и восхищаетесь: «Ничего себе!» А кто-то рядом говорит: «Да что тут сложного? Это просто синхронизированная цепочка микровзрывов газового топлива в цилиндрах». Технически он прав. Но объясняет ли фраза про «цепочку взрывов», как именно этот двигатель позволяет машине входить в поворот на скорости 200 км в час?

Проблема деградации не сводится просто к вырождению плотности вероятностей. Эта вероятность определена в пространстве чудовищной размерности. Строго говоря, внутри LLM вообще нет единого, классического «распределения вероятностей» в привычном нам виде — мы сами концептуализируем это понятие для удобства описания. Распределение формируется для векторов эмбеддингов, которые существуют, например, в 2048-мерном пространстве.

Поэтому утверждать, что синтетические данные обязательно приведут к коллапсу, я бы не стал. Если ИИ будет наполнять интернет контентом, он с равной вероятностью будет генерировать и что-то абсолютно новое и полезное. Уже сегодня системы ИИ совершают реальные открытия: они синтезируют новые белки, изобретают новые технологические цепочки. Это и есть обогащение данных.

Возьмите инструмент NotebookLM от Google. Попробуйте загрузить туда аудиозапись лекции или выступления на TED. ИИ разберет устную речь на концепты и сгенерирует структурированный, качественный текст. Этого текста раньше в природе не существовало. Теперь он попадает в сеть, и мы сможем использовать его для обучения следующих моделей. И этот текст ничем не хуже, а то и умнее того, что написал бы человек, потому что он кристаллизует смыслы из устного выступления.

Так что я не жду катастрофы. Помните, нам когда-то предсказывали, что «интернет мертв», что он потонет в мусоре. Да, мы можем сказать, что боты нагенерировали океаны спама. Но интернет жив, мы пользуемся им каждый день и находим именно ту информацию, которая нам нужна. Полезная информация никуда не исчезнет, она будет создаваться постоянно.

Долгое время господствовала парадигма: «Обучил веса модели один раз — используешь бесконечно». Но недавние исследования (например, концепция Test-Time Training) предлагают менять веса нейросети прямо в процессе генерации ответа. То есть контекст промпта превращается в микро-обучение на лету. Означает ли это, что эпоха статичных трансформеров с квадратичным механизмом внимания уходит в прошлое? Согласны ли вы, что будущее за системами, которые не просто вспоминают заученное, а доучиваются на каждом новом токене, имитируя кратковременную память человеческого мозга?

Да, я абсолютно согласен. Концепция непрерывного обучения (continuous training) — это будущее. На данный момент она еще не реализована в полной мере внутри самих гигантских фронтирных LLM, но мы уже сейчас строим AI-агентов с интегрированной памятью. Пока эта память функционирует как бы поверх LLM, как внешний модуль, но благодаря ей агент постоянно обучается и адаптируется в процессе работы. Так что направление развития указано на мой взгляд верно. 

Критики часто утверждают, что нейросеть принципиально не способна создать ничего нового — она лишь статистически комбинирует старые фрагменты данных. Но разве человеческий мозг, с точки зрения теории множеств, не делает то же самое? Способна ли нейросеть выйти за пределы выпуклой оболочки своих обучающих данных (совершить истинную экстраполяцию) и создать нечто принципиально новое? Или она навсегда заперта внутри усвоенных паттернов?

Про «выпуклые оболочки» в контексте представления информационных знаний можно было бы дискутировать очень долго. Но давайте посмотрим на факты: искусственный интеллект уже нагенерировал массу знаний, которых человечество раньше не имело.

Проблема в том, что мы часто сводим все достижения ИИ к простому интерфейсу чат-бота: задал вопрос — получил текстовый ответ. Нужно смотреть шире. Существуют специализированные научные AI-агенты, построенные на базе LLM. И они уже сейчас выдают результаты, которые входят в официальные научные публикации и реестры открытий. Возможно, это пока слабо проникает в наш повседневный бытовой опыт, но это уже реальность.

Это проявляется даже в программировании. Если Claude Code  или Codex с нуля написал для вас сложную архитектуру кода и разработал проект под ваши уникальные требования, этого проекта раньше просто не существовало. Это не просто компиляция кусков из репозиториев GitHub, этот этап мы уже давно прошли.

Приведу отличный недавний пример. Исследователь из Anthropic (если не ошибаюсь, Хантли) опубликовал работу, где доказал жизнеспособность концепции RALPH (отсылка к упрямому персонажу Ральфу из «Симпсонов», который пробует снова и снова, пока не добьется своего). Суть в том, что LLM зацикливают: она пытается выполнить задачу, анализирует ошибку, делает следующую итерацию, и так до победного конца.

Хантли написал короткий промпт: «Создай мне функциональный язык программирования, похожий на Go (Golang), но в качестве ключевых слов используй современный сленг поколения Z». Модель долго крутилась в цикле RALPH. В итоге она с нуля написала компилятор для этого нового языка (он получил название Cursed), который компилирует код в инфраструктуре LLVM. Вместо стандартных операторов там используются сленговые словечки вроде slay, sus, based. Мало того, этот компилятор оказался способен компилировать самого себя (self-hosting).

Откуда модель это взяла? Из какого известного паттерна она могла это слепо скопировать? Да ниоткуда. Это абсолютно новый, работающий продукт, созданный с нуля. Так что ответ однозначный: искусственный интеллект уже сегодня способен создавать принципиально новое.

Владимир Владимирович, давайте признаем честно: мы уперлись в потолок надежности. LLM — это вероятностная машина, она всегда может соврать или выдать галлюцинацию. Однако недавно мы увидели прорыв систем вроде AlphaProof от Google DeepMind, которые решают задачи математических олимпиад на уровне золотых медалистов. Их трюк в том, что они не просто генерируют текст, а пишут код на формальном языке, который затем проверяется жестким логическим солвером. Если код не компилируется или доказательство не сходится, модель уходит на следующий цикл размышлений. Означает ли это, что будущее ИИ не в бесконечном наращивании параметров LLM, а в возвращении к «старому доброму» символьному ИИ? Возможно ли, что настоящий интеллект достижим только в гибридной архитектуре: интуиция нейросети плюс жесткая логика формального верификатора?

Золотое правило: всё, что можно верифицировать формально, нужно верифицировать формально. Самые успешные современные применения ИИ — те же упомянутые вами математические модели семейства Alpha, а также агенты для программистов вроде Claude Code — работают именно по этому принципу. Сгенерированный код сразу исполняется и тестируется в изолированной песочнице.

Формальная проверка означает, что мы используем нетекстовый критерий истины. Можно бесконечно обсуждать словами утку: «она крякает, как утка», «плавает, как утка». Но суть в том, что мы хотим с этой уткой сделать. Если мы хотим ее съесть, одних слов и внешнего сходства недостаточно, нужна проверка физического мира. А вот для пациента с тяжелым иммунным заболеванием, который живет в стерильном пластиковом пузыре и может только наблюдать за происходящим, виртуальная утка будет вполне реальной — для него достаточно того, что она плавает и крякает.

Я абсолютно согласен, что за такими гибридными системами будущее. Сегодня их принято называть AI-агентами (agents). Они не просто оснащены специализированными, отличными от чата  интерфейсами с LLM. Их способности в большой степени зависят от всего кода, который входит в их состав и имеет доступ к LLM. Сегодня эту обвязку принято называть harness. Уже появился harness engineering, о чем можно отдельно поговорить. Так вот: когда мы проектируем агентные системы, мы подбираем способ верификации, адекватный конкретной задаче. Если задача допускает вычислимую формулировку, мы запускаем код на формальном языке программирования. Если нам нужно применить результат к реальному миру, мы запускаем симулятор физических процессов.

Физики сейчас очень активно используют этот подход. Возьмите исследования на новых коллайдерах, связанные с изучением темной материи. Там сложнейшие процессы, но уравнения для их симуляции уже существуют. Ученые используют строгую математику для расчетов, а агентным моделям поручают задачу высокоуровневого описания: поиск причинно-следственных связей, анализ гипотез. Такой симбиоз работает прекрасно. Пока слова LLM не проверены на практике, это просто слова. Но как только мы верифицировали результат формальными методами и убедились в его правильности, мы получаем осязаемую пользу.

Представьте, что завтра мы создадим систему, которая пишет код лучше сеньор-разработчика, доказывает нерешенные теоремы и ведет диалог абсолютно неотличимо от человека. При этом мы точно знаем, что «под капотом» у нее — просто гигантское перемножение матриц. Должно ли нас вообще волновать, «настоящий» ли там интеллект? Или нам пора принять прагматичный функционализм: если оно решает задачи как интеллект и общается как интеллект, то это и есть интеллект — и пора перестать маниакально сопоставлять машины с человеческим разумом?

Я бы сказал так: да, с этим антропоцентризмом пора заканчивать. Представление о человеческом разуме как о чем-то сверхъестественном и сакральном, под что необходимо подгонять любые другие формы мышления, на мой взгляд, ошибочно.

Когда-то на Земле было царство динозавров. О чем они там думали — неизвестно, но сейчас их нет. В конце концов, однажды не станет и людей — с чего мы взяли, что наш биологический вид будет существовать вечно? Но что принципиально нового, по сравнению с теми же динозаврами, породило человечество? Мы создали инфосферу. Мы породили разум, способный к рефлексии и размышлениям, выходящим далеко за пределы базовых биологических потребностей, необходимых просто для поддержания выживания нашей популяции.

С точки зрения философии такой подход действительно во многом укладывается в функционализм. И мне кажется, сегодня нам стоит отбросить мотивы, уходящие корнями в религию или мистику, и мыслить прагматично. Возвращаясь к нашей метафоре: если машина приносит практическую пользу и мы можем эту «утку» съесть — значит, перед нами настоящая утка. Главное, чтобы результат работал на тех, кому он действительно нужен.