Народ выдает массовую острую реакцию на галлюцинации нейросетей. Выкатывают разработчикам претензии: «нейронка врет и игнорирует контекст!». Инженеры сначала пытались вяло отбиваться классическим: GIGO и RTFM. Но недовольство потребителя растет. Пошли биться над проблемой. Начали вкручивать RAG. Инженеры полагают, что галлюцинации — это математический баг. Они исходят из того, что в идеале машина должна работать как мышление у психически сохранного человека, а не как у шизофреника.
Сначала меня удивил масштаб этого хайпа. И я себя спросила: а почему я пару дней поговорила с нейросетью, увидела первый галюн и не удивилась, и не разозлилась? Я ей просто спокойно указала на несоответствие.
Инструменты и навыки. Здесь сработало два фактора.
Макроуровень — профподготовка. Я системно натренирована видеть баги мышления и галлюцинации у людей и относиться к этому спокойно. Работа с абсурдом — моя специальность и прямая обязанность.
Но это недостаточный ответ. Он мгновенно возносит психотерапевтов и сопричастных на Олимп, что совершенно не соответствует действительности. Не может быть, чтобы мое мышление работало принципиально «лучше», чем у инженера. Процесс в голове идет ровно тот же самый. Разница формируется лишь за счет поправок: как базовых, на уровне «железа» (врожденные способности, качество ЦНС), так и на уровне надстройки — «софта» (плотность нейронных связей: навыки, система координат и прочее).
Иллюстрация нашлась в быту. Кейс: баг белковой нейросети.
Вот пример того, как ломается человеческий промпт-инжиниринг на простой задаче. Я регулярно даю живым людям недвусмысленную вводную:
> [По паспорту я Ольга. Дома меня зовут Алена]
> Task: Выбери одно из двух.
Как вы думаете, что выдает в ответ белковая нейросеть? Она выдает: [Ты Лена].
Механика сбоя: Constraint Violation
Что здесь происходит с точки зрения мышления? Нарушение параметров (enum). Человеческий когнитивный аппарат не справляется с противоречием. Удерживать рамки задачи префронтальной корой — метаболически дорого. Поэтому мозг (Система 1) сбрасывает исходный промпт, ныряет в свою базу данных, находит привычный ассоциативный ряд (Алена -> Елена -> Лена), берет токен с самым высоким статистическим весом и выдает его. Искренне, уверенно и не приходя в сознание.
В психологии этот феномен называют когнитивным искажением — jumping to conclusions (прыжок к выводам). Чинится он банальным промптом: «непонятно — спроси».
Разработчики бесятся, когда LLM на просьбу «отвечай только да или нет» начинает рассуждать. Но, глядя на это через клиническую оптику, напрашивается гипотеза. ИИ не сломан. Возможно, мы воссоздали собственный баг. Как устранить его математически — вопрос вне моей компетенции.
Комментарии (8)
axion-1
19.04.2026 19:21> [По паспорту я Ольга. Дома меня зовут Алена]
> Task: Выбери одно из двух.
Ничего не понял. Выбрать одно из двух имён? И в чём сложность?
Daresays Автор
19.04.2026 19:21Человек слышит конструкцию «Ольга + Алена» и вместо того, чтобы удержать рамку задачи (выбрать из предложенных вариантов), его мозг по ассоциативной лени сливает их в привычное «Лена» — слово, которого не было в исходных условиях. Модель ломается не на логике, а на неспособности удержать внимание. Некоторые даже спорят. Прям как картину мира им взломали.
Glen5
19.04.2026 19:21Вообще-то ощутимое количество носителей русского языка вам скажут, что Алена - это и есть Лена. Я даже знаю одну девушку, которая представляется Леной, а в паспорте она Алена. На вопрос почему: дак это сокращение же от Алена...(Вот и викисловарь говорит, что Алена - синоним Елена).
Мне сразу вспомнилась статья десятилетней давности здесь на хабре, где психолог приводил пример отклонения, когда люди из 3 предметов: самолет, корабль, воздушный шар; выбирали лишним воздушный шар. По его мнению для здорового человека очевидный ответ - корабль. Но мнения в комментариях разделились, считать ли, что воздушный шар не требует механизмов для своего движения или взять лишним самолет, потому что вторые опираются на силу Архимеда, а самолет на закон Бернулли.
В общем, интересные выводы у психологов/психиатров.
airatphd
19.04.2026 19:21Нейросеть хотела выдать кашу в голове за пищу для размышления и получился такой вот ребус.
Человек хочет выдать какой—то умный вывод и вместо того, чтобы удержать рамку задачи, его мозг по ассоциативной лени сливает банальное словоблудие
dyadyaSerezha
19.04.2026 19:21Почему я не выбрал Елену? Какая была у вас выборка, на ком? Какой процент ответили Елена?
Баги мышления, галлюцинации - а это разве не область работы психиатра? Вы получили психиатрическое образование?
В целом, неубедительно. Хотя идея, что обучение на противоречивых данных может привести к “шизофрении” инференса, имеет право на существование, но на то и дан мозг человеку (по крайней мере, ему), чтобы замечать противоречия и не просто жить с ними, а пытаться добыть дополнительную инфу для их разрешения, а если инфы нет, то помечать внутри себя, что тут в данных противоречие и использовать надо крайне осторожно.
Kogolbok
19.04.2026 19:21А я Вам верю. Я, конечно, не понимаю откуда такое берётся, но порой уменьшительно-ласкательные имена дома используют совсем не такие, как казалось бы логичным. И тоже наблюдал подобные искажения до всех этих ИИ и вообще компьютеризации в принципе. Самым для меня странным был Лёша-Николай, а во дворе его звали Кирюхой (нет, не кирял). Есть такое у людей.
Меня же интересует другое. Как бороться в нас со всякими искажениями от желания принятия поспешного решения? Лично мне это сильно мешает и выросло на потребности иметь моментальное, точное знание и мнение на совершенно разные вещи и сферы деятельности. Я начал делать много ошибок и понял, что в стрессовый момент включается "режим быстрого ответа". И у ИИ я наблюдаю очень похожее. Это тоже пугает :)) как вернуть себе степенное, не нервное мышление?
Daresays Автор
19.04.2026 19:21Спасибо за адекватность. На фоне остальных комментариев ваш вопрос — это глоток свежего воздуха. Вон выше пришел товарищ, который снова лучше знает мое имя, чем я. И здесь речь не только об именах как таковых. Это уже раздел филологии — антропонимика. Начнем обсуждать — увязнем на три простыни.
Вы описали то, что в клинике называется непереносимостью неопределенности. Неопределенность вызывает тревогу. Амигдала требует немедленной реакции. Вся ЦНС приходит в состояние возбуждения.
Отсутствие готового ответа воспринимается как физическая угроза. Префронтальная кора может в этот момент сдаться. Ее работа и в спокойных условиях стоит «дорого». Поэтому в состоянии стресса мозг выдает любой готовый ответ, чтобы закрыть задачу и отключить тревожный сигнал. Качество ответа падает, иллюзия контроля возвращается. У нейросетей похожие проблемы. У них нет права на паузу, они алгоритмически обязаны выдать следующий токен.
У человека есть зазор между стимулом и реакцией. Я имею право сказать: «я не знаю», «мне нужно обдумать», «мне не хватает данных для качественного ответа». Нам нужно включить процесс торможения. Как только человек снимает с себя требование быть сервером с нулевым пингом, управление возвращается к спокойному мышлению.
xabrxaxabr
Если вас уже домА зовут. то может быть к доктору...