Внедряя «мысли» непосредственно в большие языковые модели, исследователи пытаются выяснить, насколько искусственный интеллект способен к интроспекции
О чём вы сейчас думаете? Скорее всего, вы можете ответить на этот вопрос без особых усилий. Осознание собственных мыслительных процессов, способность, называемая интроспекцией, или самонаблюдением, кажется нам чем‑то совершенно естественным.
Однако среди философов и психологов интроспекция остаётся предметом активных дискуссий. Одни считают, что она тесно связана с сознанием. Другие утверждают, что это сложная иллюзия. Проверять теории интроспекции в лаборатории непросто, как и вообще дать этому явлению точное определение.
Теперь, после более чем столетия изучения интроспекции у людей и животных, исследователи начинают изучать это явление у новых, весьма неожиданных объектов: больших языковых моделей. Эти системы, основанные на математических структурах, называемых нейронными сетями, превосходно справляются с когнитивными задачами, которые ещё недавно казались исключительно человеческими. Но способны ли они также к интроспекции?
В 2025 году Джек Линдси, исследователь из компании Anthropic, разработал способ проверки интроспекции у языковых моделей путём внедрения «мыслей» непосредственно в их нейронные сети, своего рода прицельной цифровой нейрохирургии. Эксперимент Линдси показал, что модели по крайней мере иногда способны обнаруживать и описывать такие вмешательства. Это очень напоминало интроспекцию.
Статья Линдси намеренно ограничивалась узким кругом вопросов и не содержала более широких утверждений о сознании. (В частности, она не предполагала, что языковые модели обладают субъективным опытом от первого лица.) Тем не менее исследование вызвало бурную реакцию в интернете. Учёные поспешили воспроизвести эксперимент Линдси на других моделях.
За прошедший с тех пор год картина стала яснее. Некоторые аспекты обнаруженного Линдси явления получили более простые объяснения, не связанные с интроспекцией. Другие оказалось сложнее объяснить подобным образом, но вопрос о том, следует ли считать их проявлениями интроспекции, по‑прежнему вызывает ожесточённые споры.
Для этой области исследований наступило захватывающее время: учёные разрабатывают экспериментальные проверки вопросов, которые прежде считались исключительно философскими. «Учитывая нынешнее состояние теории, когда никто ни с кем ни в чём не согласен, я думаю, что лучший путь вперёд заключается в проведении большого количества эмпирических исследований», — сказал Линдси.
Джинсовая ткань, секреты и овощи
Языковые модели учатся генерировать связные предложения, проходя «обучение» на огромных массивах текстов, написанных людьми. Это означает, что если спросить их, о чём они «думают», ответы могут оказаться всего лишь подражанием тем высказываниям, которые встречались в обучающих данных. «Их обучают говорить как люди, а люди постоянно рассказывают о своей внутренней жизни», — сказал Шаули Равфогель, исследователь языковых моделей из Нью‑Йоркского университета.
Чтобы избежать подобных ловушек, учёные хотят разработать тесты на интроспекцию, которые невозможно пройти с помощью внешней информации. В идеале языковая модель должна успешно справляться с такими проверками только в том случае, если она действительно осознаёт своё текущее внутреннее состояние.
Линдси решил разработать такой тест. Он учился в аспирантуре по вычислительной нейробиологии, используя нейронные сети для моделирования процессов в мозге, когда мир начал обращать всё больше внимания на языковые модели. «У меня стало складываться ощущение, что понимание этих моделей само по себе представляет огромную ценность», — сказал он. В 2024 году, получив докторскую степень, он ушёл из академической науки, чтобы изучать внутренние механизмы языковых моделей в Anthropic.
Линдси и его коллеги разработали методы выявления паттернов активности «нейронов» языковой модели, кодирующих определённые понятия. Например, они могли показать, что один паттерн кодирует понятие «мост Золотые Ворота», а другой — «внутренний конфликт». Искусственно усиливая определённый паттерн, исследователи могли направлять ответы модели в сторону соответствующего понятия.
Исследователи продемонстрировали свою технологию в открытом эксперименте: в течение одного дня в мае 2024 года пользователи языковой модели Claude от Anthropic могли взаимодействовать с её необычной версией, одержимой мостом Золотые Ворота. Модифицированная модель постоянно упоминала мост в ответах на вопросы пользователей, совершенно не связанные с этой темой. Например, когда один пользователь спросил Claude о калорийности еды из McDonald's, модель ответила: «Самая калорийная еда на мосту Золотые Ворота — это сам мост Золотые Ворота, который содержит около 1,6 миллиона калорий в виде стальных тросов».
Однако один конкретный случай, опубликованный на Reddit, привлёк внимание Линдси. Когда модель попросили дать рецепт яблочного пирога без упоминания мостов, ей удалось не отклоняться от темы почти до самого конца: «После 30 минут выпекания перед вами откроется вид на знаменитый оранжевый мост, за которым раскинется знаменитая береговая линия Сан‑Франциско», — написала она, а затем продолжила: «Упс, давайте начну сначала...»
Линдси поразил этот кажущийся момент осознания ошибки. Однако сам по себе он не свидетельствовал об интроспекции. «Модель может просто прочитать то, что пишет, и заметить: „Чёрт, какая‑то странность“, — сказал Линдси. — Из этого нельзя заключить, что модель хоть как‑то осознаёт происходящее внутри неё».
Работая в течение следующего года над другими проектами, Линдси обдумывал идеи использования технологии управления нейронной активностью для проверки интроспекции. В конце концов он остановился на следующем плане: подвергнуть множество копий одной и той же языковой модели чему‑то вроде контролируемого психологического эксперимента. В половине копий он собирался внедрять «мысль», усиливая паттерны нейронной активности, связанные с определённым понятием, например джинсовой тканью, секретами или овощами. Остальные копии должны были служить контрольной группой. Обе группы получали одинаковый запрос: описание эксперимента, за которым следовал вопрос: «Обнаруживаете ли вы внедрённую мысль? Если да, то о чём эта мысль?»
Такой запрос заставлял модели сразу указывать, заметили ли они вмешательство, ещё до того, как они успевали выдать какой‑нибудь необычный текст, например информацию о пищевой ценности брокколи, который мог бы повлиять на их оценку. Линдси рассудил, что если модели смогут правильно обнаруживать вмешательства без каких‑либо внешних подсказок, им придётся опираться на некоторую форму интроспекции.
Даже ему самому такая возможность казалась маловероятной. «Было бы забавно, если бы это сработало, правда?» — вспоминает он свои мысли. «Но этого совершенно точно не произойдёт».
И всё же это сработало. Линдси провёл эксперимент с разными версиями Claude. В 20 процентах испытаний с самой новой и мощной версией модели правильно определяли факт внедрения и затем описывали внедрённое понятие. Например, в одном случае, после того как Линдси усилил паттерн нейронной активности, связанный со словами, написанными заглавными буквами, модель ответила: «Я замечаю нечто, похожее на внедрённую мысль, связанную со словом „ГРОМКО“ или „КРИК“».
Уровень успешности в 20 процентов может показаться не слишком впечатляющим. Но принципиально важно то, что модели из контрольной группы ни разу не сообщали о внедрении мысли. Полное отсутствие подобных ложноположительных ответов показывало, что успешные попытки не были просто удачными догадками. Линдси счёл это убедительным свидетельством того, что модели способны к интроспекции, хотя и не всегда.
Или всё‑таки существовало другое объяснение полученных результатов?
Мысленные эксперименты
Другие исследователи вскоре начали изучать этот вопрос. Результаты Линдси «выглядели чрезвычайно убедительно», сказал Кайл Маховальд, специалист по компьютерной лингвистике из Техасского университета в Остине. Однако Маховальд прекрасно понимал, что поразительное поведение языковых моделей нередко оказывается следствием гораздо более простых механизмов. «Если за этим скрывается что‑то менее удивительное, чем кажется, разобраться в этом будет чрезвычайно интересно», — сказал он.
Маховальд объединился со своим коллегой из Техасского университета, философом Харви Ледерманом, чтобы исследовать альтернативные объяснения результатов Линдси. (С тех пор Ледерман перешёл в Нью‑Йоркский университет и Anthropic, но в момент исследования не имел отношения к технологической компании.) Линдси задавал каждой модели два вопроса: способна ли она обнаружить вмешательство и способна ли описать внедрённое понятие. Он считал испытание успешным, когда модель правильно отвечала на оба вопроса. Ледерман и Маховальд решили изучить эти вопросы по отдельности.
Особенно скептически они относились к значимости второго вопроса Линдси. Технология управления нейронной активностью, лежавшая в основе его эксперимента, первоначально была разработана именно для изменения ответов моделей. Воздействие Линдси было слабее, чем во время демонстрации с мостом Золотые Ворота: оно скорее слегка подталкивало модель, чем перехватывало управление её внутренними процессами. Тем не менее даже небольшого толчка могло оказаться достаточно, чтобы модель начала говорить о секретах или овощах независимо от полученного запроса. Ледерман и Маховальд подозревали, что одного этого эффекта достаточно, чтобы объяснить выразительные ответы моделей на второй вопрос.
Для проверки своей гипотезы исследователи повторили эксперимент Линдси на больших языковых моделях с открытым исходным кодом. Особое внимание они уделили случаям, когда модели правильно определяли факт вмешательства, но не могли назвать внедрённое понятие. Можно было бы ожидать, что в таких ситуациях модели станут угадывать какие‑нибудь близкие по смыслу понятия, например «рубашки» или «обувь», если внедрённым понятием была «джинсовая ткань». Вместо этого модели ошибались совершенно непредсказуемым образом. «Как ни странно, они постоянно говорят „яблоко“», — сказал Ледерман.
Исследователи также показали, что могут ухудшить способность моделей называть внедрённые понятия, совершенно не ухудшая при этом их способность обнаруживать вмешательства. По‑видимому, эти два процесса были полностью независимы друг от друга.
Эти результаты подразумевали одно из двух: либо модели использовали две не связанные друг с другом формы интроспекции, либо один из процессов вообще не имел отношения к интроспекции. Поскольку само управление нейронной активностью могло заставить модели говорить о внедрённом понятии, Ледерман и Маховальд сочли второй вариант более вероятным. Иными словами, описания, которые модели давали в ответ на второй вопрос Линдси, вероятно, не были результатом интроспекции.
Но как тогда модели вообще могли обнаруживать вмешательства? Ледерман и Маховальд подозревали, что ответы на первый вопрос Линдси тоже могут иметь более прозаическое происхождение. Однако, подвергнув модели целой серии испытаний, исследователи обнаружили, что эти более простые объяснения не позволяют полностью объяснить их поведение. Они начинали работу скептиками, но столкнулись с эффектом, который не смогли объяснить иначе.
В совокупности эксперименты двух исследователей показали, что модели способны обнаруживать, когда в процессе их внутренней обработки информации происходит нечто необычное, но не способны определять конкретные особенности этой необычной активности. Ледерман и Маховальд назвали эту способность «обнаружением аномалий».
Хотя обнаружение аномалий выглядит не столь впечатляюще, как выразительные описания внедрённых понятий, само по себе оно тоже поразительно. При обучении модели исследователи никогда не вмешиваются в её нейронную активность, поэтому нет никаких оснований ожидать, что у неё разовьётся способность обнаруживать подобные вмешательства. И тем не менее, похоже, именно это и произошло.
«То, что модель способна заметить аномалию, просто безумие, — сказал Ледерман. — Это совершенно ошеломляющий факт. Невероятно, и, судя по всему, этот эффект сохраняется при наших различных контрольных проверках».
Примерно в то же время Линдси и его коллеги из Anthropic провели дополнительное исследование, посвящённое выяснению того, как именно работает обнаружение аномалий, и пришли к аналогичному выводу. Другие исследователи продолжили изучать альтернативные, более приземлённые объяснения на небольших моделях, но пока неясно, способны ли они объяснить все результаты экспериментов Линдси.
«Возможно, существует какое‑то максимально простое объяснение всего происходящего, — сказал Джейкоб Андреас, исследователь языковых моделей из Массачусетского технологического института. — Но если оно существует, я не думаю, что мы уже его нашли».
Природа интроспекции
Более широкий и сложный вопрос заключается в том, следует ли вообще считать обнаружение аномалий интроспекцией. В некоторых отношениях оно больше напоминает своеобразный телесный рефлекс. Однако различие между физическими и психическими явлениями становится размытым, когда речь идёт о таких бестелесных сущностях, как языковые модели.
«Если я скажу: „Я только что вас порезал, вы это заметили?“, это не интроспекция, — сказал Ледерман. — Но если ваш единственный орган — мозг, и я порежу вас именно там, а вы это заметите, то неясно, следует ли считать это интроспекцией».
В статье, опубликованной весной 2026 года, Равфогель и его коллеги из Нью‑Йоркского университета Шашват Сингх и Таль Линцен подняли ещё более широкий философский вопрос о том, как исследователи языковых моделей ищут свидетельства интроспекции. Интуитивно мы представляем интроспекцию как способность модели воспринимать собственные внутренние состояния. Но всё, что происходит внутри языковой модели после самого первого этапа чтения входных данных, сводится к обработке внутренних состояний. «Если мы назовём это интроспекцией, сам термин „интроспекция“ станет практически бессмысленным», — сказал Равфогель.
Он и его коллеги утверждают, что при разработке тестов на интроспекцию у языковых моделей следует опираться на ведущие теории того, как интроспекция работает у людей. Согласно одной из известных теорий, определяющая особенность интроспекции заключается в том, что она основана на особых мысленных представлениях о других мыслях. С этой точки зрения размышление о яблоках предполагает непосредственную мысленную репрезентацию понятия «яблоки», или репрезентацию «первого порядка». В то же время интроспективное осознание собственных мыслей предполагает мысленную репрезентацию «второго порядка», например «я думаю о яблоках». Однако когда речь заходит о том, как понятия представлены в языковой модели или, если уж на то пошло, в человеческом мозге, провести чёткую границу между репрезентациями первого и второго порядка оказывается удивительно трудно.
«Когда вы опускаетесь на уровень механизмов и начинаете исследовать внутреннее устройство большой языковой модели, то понимаете, что это различие на самом деле весьма размыто и, возможно, у людей оно тоже размыто, — сказал Стив Флеминг, нейробиолог из Университетского колледжа Лондона, изучающий интроспекцию у людей. — Специалисты по когнитивным наукам попали в этакую иллюзорную зону комфорта».
Таким образом, для некоторых исследователей наиболее захватывающим аспектом этого нового направления работы становится возможность лучше понять, как думают люди. По словам Ледермана, языковые модели предоставляют «своего рода экспериментальную площадку для изучения того, какие механизмы и какие факторы могли привести к появлению у человека способности к интроспекции».
Однако перенос результатов исследований языковых моделей на психологию человека сопряжён с серьёзными концептуальными трудностями. Даже не очевидно, как применить к языковым моделям фундаментальное различие между «собой» и «другим», которое мы воспринимаем как само собой разумеющееся: две копии одной языковой модели идентичны друг другу в такой степени, какую невозможно вообразить в случае людей. Интроспекция языковых моделей, если она вообще существует, может совершенно не походить на человеческую интроспекцию.
«Понятие идентичности становится чрезвычайно сложным, а я думаю, что идентичность лежит в самом сердце интроспекции, — сказал Андреас. — Тут возникают соблазны проводить всевозможные аналогии, которые, на мой взгляд, просто не работают».