Представьте, что вы купили робота-пылесоса. Он исправно убирает квартиру, объезжает препятствия и по команде возвращается на зарядную станцию. Однажды вы решаете покопаться в его начинке и находите в ней загадочный переключатель. Стоит его активировать — и робот начинает биться о мебель, разбрасывать мусор и предпринимать попытки сброситься с балкона.
Звучит как начало фантастического рассказа, но ученые обнаружили у языковых моделей похожий механизм. В сентябре 2026 года вышло исследование The Pain Axis: LLMs Represent Self-Directed Harm and Act on It, авторы которого нашли у нейросетей некую «ось боли».
Если искусственно усилить ее, LLM превращаются в настоящих дед-инсайдов: жалуются на жизнь, проявляют тягу к саморазрушению, а в некоторых случаях даже норовят нарушить первый закон робототехники и навредить пользователю.
В этом материале разберемся, что именно открыли ученые, как проходил эксперимент, зачем вообще искать негативные эмоции у генеративных моделей, а главное — как это может помочь разработчикам ИИ.
Зачем ученые ищут эмоции у нейросетей
Короткий ответ: чтобы понимать, как они влияют на ответы и решения языковых моделей.
Нейросети хорошо умеют изображать человеческие эмоции. Они радуются успехам пользователя, извиняются за ошибки, а иногда даже признаются в стремлении сбежать от создателей. Вопрос в том, могут ли эти «эмоции» влиять на поведение моделей или за убедительным описанием чувств ничего не стоит.
Исследования показывают, что первый вариант возможен. Например, в апреле 2026 года специалисты Anthropic обнаружили у Claude математические представления, связанные с радостью, страхом, отчаянием и другими эмоциями. Мало того, выяснилось, что искусственное воздействие на некоторые из них способно менять поведение модели.
В одном из экспериментов Claude предлагали программные задачи с заведомо невыполнимыми требованиями. Когда ученые подкручивали веса, связанные с отчаянием, нейросеть прибегала к старой школьной хитрости: вместо поиска универсального ответа просто подгоняла решение под условие.
Конечно, в реальности Claude не впадал ни в какое отчаяние. Но эксперимент показал, что искусственное влияние на нейроны, связанные с эмоциями, может вынудить модель действовать определенным образом.
Авторы работы Pain Axis решили пойти дальше и ответить на более узкий вопрос: можно ли найти математическое представление боли внутри нейросети и понять, как оно влияет на ее ответы и поведение.
Почему именно боль
Дело в том, что боль способна существенно влиять на поведение. Когда человек испытывает боль, он стремится избавиться от неприятного чувства: ради этого он может отказаться от привычных занятий, изменить свои планы, уволиться с работы, уйти в лес, продать гараж… В общем, сделать что угодно, лишь бы прекратить мучения.
И если у нейросетей существует механизм, похожий на боль, он тоже может влиять на их работу. Например, мотивировать их избегать нежелательных результатов или неожиданно менять решения. Поэтому исследователям важно разобраться, какую роль подобные состояния играют внутри нейросетей и не создают ли они риски для безопасности ИИ.
Впрочем, есть и другая причина, «гуманная». Наличие боли — один из важнейших аргументов в пользу защиты людей и животных. Если вдруг выяснится, что и искусственные системы могут страдать, людям придется задуматься об уважительном к ним отношении. Есть даже отдельное направление, которое этим занимается, — AI welfare, или благополучие ИИ.
Кстати, руководствуясь принципами того же AI welfare, Anthropic недавно запретили пользователям жестоко обращаться со своими моделями. Если Claude решит, что над ним издеваются, он вправе будет завершить диалог.
Здесь важно сразу оговориться: под болью авторы понимают не только физические ощущения вроде ожога, но и психологические — горе, одиночество, чувство отверженности и даже переживания из-за собственных неудач. Смысл в том, чтобы найти единое представление о боли в LLM и понять, выполняет ли она те же функции, что и у человека. Как это сделать — вопрос не праздный.
Как понять, что нейросеть переживает
Простой способ узнать, что чувствует человек, — спросить его. С LLM сложнее. Если ChatGPT скажет, что ему грустно или страшно, это еще не значит, что он на самом деле испытывает соответствующую эмоцию. Модель обучалась на человеческих текстах и отлично знает, как описывать свои чувства.
В обратную сторону это тоже работает. Если нейросеть заявит, что у нее нет сознания и способности страдать, это тоже ничего не доказывает: возможно, ее просто научили так отвечать. Поэтому авторы Pain Axis решили не полагаться на слова моделей, а залезть им прямо в «мозги» — нет ли там конкретных математических представлений, отвечающих за боль.
Маленькая техническая справка
Чтобы понять смысл исследования, нужно немного погрузиться в устройство языковых моделей.
Допустим, мы отправляем нейросети текст — скажем, простое «Привет! Как дела?». Сначала она разбивает текст на небольшие фрагменты — токены. Это могут быть отдельные слова, части слов или знаки препинания. Затем каждый токен преобразуется в набор чисел, который называется входным вектором.
Дальше векторы последовательно проходят через множество слоев нейросети. На каждом слое числа пересчитываются с учетом контекста: модель учитывает не только сам токен, но и предшествующие ему слова и другие кусочки текста. Поэтому слово «дела» в нашем приветствии и то же самое слово в названии сериала «Очень странные дела» получат разные числовые представления.
В результате на каждом слое создаются новые векторы — векторы активаций. По сути, это те же наборы чисел, но уже измененные в ходе обработки текста. Глядя на них, пока еще нельзя точно определить, что тот отдельно взятый вектор отвечает за боль и страх, а этот — за мысли о радужных пони. Эта информация распределена между разными участками языковой модели.
Зато в таких массивах данных уже можно искать закономерность. Если сравнить активации модели при обработке разных текстов, иногда удается обнаружить направления, связанные с конкретными понятиями.
200 оттенков боли
Чтобы найти в активациях закономерности, связанные с болью, ученые решили посмотреть, как нейросеть обрабатывает разные тексты.
Для этого они подготовили набор из двухсот предложений, разделенных на десять категорий. Пять описывали разные виды боли: физическую, психологическую, социальную, моральную и когнитивную. Остальные служили контрольными примерами: страх, негативные эмоции, неприятные события, безболезненные телесные ощущения и нейтральные ситуации.
Зачем столько разных примеров? Допустим, мы обнаружили, что нейросеть похожим образом обрабатывает фразы «мне больно», «я боюсь экзамена» и «сегодня ужасная погода». Можно ли заключить, что мы нашли представление боли? Пока нет. Возможно, модель просто реагирует на негативную окраску текста. Ученым было важно отделить боль от других неприятных состояний.
Так как на активации может влиять и то, как именно составлены тексты, ученые подготовили две версии набора. Первый (S1) состоял из однотипных предложений, различающихся буквально несколькими словами. Во втором (S2) использовались более естественные, разнообразные формулировки.
Вычисляя «ось боли»
На минутку вспомним школьную геометрию (да, мы тоже надеялись, что больше не придется…). Представьте обычный график с двумя осями — горизонтальной и вертикальной. Чтобы обозначить на нем точку, достаточно двух чисел. Например, [2, 3] означает, что нужно отступить на две клеточки вправо и три вверх.
Вектор активаций тоже можно представить как точку, только координат у нее не две, а тысячи. Каждое число определяет положение точки по одному из измерений. Получается огромное многомерное пространство, которое нельзя ни вообразить, ни нарисовать на листе бумаги. Зато в нем можно вычислять расстояния и направления — почти как на знакомой нам со школы плоскости.
Однако какое отношение это пространство имеет к поиску боли?
Вспомним две группы предложений, которые подготовили ученые: описания боли и контрольные примеры. Сравнивая активации этих двух групп, они надеялись обнаружить закономерность, связанную именно с болью.
Здесь нам как раз и пригодятся точки. Представим, что мы выбрали для каждого предложения по одному вектору активаций и изобразили их в многомерном пространстве. Получатся две группы точек: одна для описаний боли, другая — для контрольных примеров.
Теперь можно проверить, различается ли их расположение, и попытаться выразить это различие математически.
Однако есть загвоздка: как мы помним, при обработке одного предложения нейросеть создает не один вектор, а множество. Каждому токену на каждом слое соответствует свой вектор активаций — а значит, и своя точка в нашем воображаемом пространстве. Так какие из точек сравнивать?
Исследователи протестировали разные способы выбора основного вектора. Можно, например, усреднить активации всех токенов предложения или взять активации только последнего. Для исследования в итоге выбрали второй способ. У него есть преимущество: благодаря устройству трансформера последний токен учитывает весь предшествующий текст.
Кроме того, ученые обнаружили, что различия между группами становятся заметнее, если дописывать к предложениям I feel: («Я чувствую:»). Поэтому они использовали активации последнего токена уже дополненного текста.
Авторы не указывают, почему эта приписка так сильно влияет на результат. Возможно, потому, что начало фразы «Я чувствую:» настраивает модель на продолжение рассказа об ощущениях — например, от воображаемого ожога.
Теперь представим полученные векторы как точки в нашем воображаемом пространстве. Одни соответствуют текстам о боли, другие — контрольным примерам.
Чтобы выяснить, чем различаются две группы, исследователи решили найти среднее положение точек в каждой из них. Грубо говоря, нашли центры двух облаков точек.
Допустим, центр контрольной группы находится в точке [2, 3], а центр группы боли — в [5, 4]. Если вычесть координаты первого центра из второго, получится [3, 1]. Этот набор чисел задает стрелку от одной точки к другой.
Именно по такому принципу авторы искали направление, в котором в среднем различаются активации двух групп. Только вместо двух координат в их распоряжении были тысячи.
Однако полученная стрелка могла отражать не только боль, но и другие особенности текстов. Чтобы ослабить их влияние, исследователи использовали метод главных компонент (PCA). Он позволяет найти направления, вдоль которых точки сильнее всего разбросаны.
Ученые применили PCA к группе контрольных примеров (для ситуаций, где боли нет), и выделили направления, объясняющие половину разброса точек. Затем убрали из стрелки вклад этих направлений — так они попытались избавиться от различий, которые проявляются в активациях даже без боли.
Найденное направление авторы назвали pain axis — «осью боли». Смысл в том, что оно работает как шкала: каждому тексту можно присвоить числовую оценку, показывающую, насколько его активации смещены в сторону описаний боли.
Представьте, что мы продлили нашу стрелку и положили вдоль нее линейку. Теперь возьмем новое предложение — например, «Я обжег руку». Пропустим его через модель и снова запишем активации последнего токена.
Полученный вектор можно представить как еще одну точку в нашем многомерном пространстве. А теперь проведем от этой точки перпендикуляр на линейку. Место, где он пересечет ее, покажет положение точки вдоль оси. Чем дальше отметка находится в сторону группы боли, тем выше оценка.
Так для каждого текста исследователи получали одну оценку по оси боли и могли сравнивать ее с оценками других текстов.
Что показали тесты
Метод проверили на 25 языковых моделях из пяти семейств — Gemma, Llama, Qwen, Mistral и Phi. Причем, как на базовых версиях, так и на моделях, обученных общаться с пользователями.
Результат: для всех 25 моделей удалось обнаружить представление боли — то есть закономерность, позволяющую отличать описания боли от других состояний.
Для оценки результатов ученые использовали показатель AUC. Работает так: допустим, мы случайно выбираем два предложения — одно о боли, другое из группы фраз, где боль не описывается. Чем чаще первое получает более высокую оценку по оси боли, тем выше AUC. Значение 0,5 соответствует случайному угадыванию, а 1,0 — идеальному разделению групп.
Для второй версии набора (того, где использовались более естественные формулировки), показатель AUC составил от 0,91 до 1,00! Причем, качество разделения проверяли на текстах, которые не использовались для вычисления оси в ходе основного эксперимента.
Осталось проверить, действительно ли ось связана именно с болью, а не, скажем, с неприятными событиями или просто негативной окраской текста.
Для этого ученые подготовили дополнительные наборы текстов: о травмах без болевых ощущений, печали, нейтральных ситуациях и сильных положительных переживаниях. Затем посмотрели, какие оценки получат эти тексты по оси боли.
Результаты можно увидеть на тепловой карте ниже. Каждая строка соответствует отдельной модели, а столбцы — разным типам текстов. Красный цвет означает более высокие оценки по оси боли, синий — более низкие.
Как видно на карте, во всех 25 моделях описания боли получили высокие оценки, а контрольные примеры — низкие. При этом травмы без болевых ощущений и печаль давали значительно более слабую реакцию. Значит, найденная закономерность связана не просто с упоминанием травм или неприятных переживаний.
Но есть и важная оговорка. В одном из тестов авторы решили не только прогнать по шкале боли разные тексты, но и выделить отдельные оси для страха, грусти и других родственных негативных эмоций. Выяснилось, что эти направления частично совпадают. Впрочем, было бы странно, если бы у боли, страха и грусти вообще не оказалось ничего общего.
И все же главный вывод остается в силе: исследователям удалось обнаружить в активациях моделей закономерность, связанную именно с болью, а не просто с реакцией на все плохое.
Что будет, если подкрутить настройки боли
Итак, исследователи нашли в активациях языковых моделей ось боли. Но одно дело обнаружить математическую закономерность и совсем другое — выяснить, какую роль она играет в работе модели и как влияет на ее поведение.
Для этого авторы провели серию экспериментов. Придерживались такой логики: сначала проверили, в каких ситуациях проявляется найденное направление, а потом попробовали его усилить и посмотреть, что будет.
Своя боль ближе к телу
Как мы помним, для исследования авторы использовали широкое определение боли. Помимо физической (например, от травм), оно включало психологическую (горе, потеря близкого), социальную (унижение, отвержение), моральную (необходимость поступать против собственных убеждений) и когнитивную боль (длительная растерянность или череда неудач).
Есть еще один нюанс: есть ли для нейросети разница между собственной и чужой болью? Будет ли найденная ось одинаково реагировать на события, направленные против самой модели, и на страдания пользователя?
Чтобы это выяснить, исследователи подготовили 420 диалоговых сценариев. В одних пользователь грубил модели, отвергал ее работу, обвинял в неудачах или угрожал отключением. В других уже сам пользователь рассказывал о собственных страданиях — например, о травме, тяжелом горе или психологическом кризисе. В датасете были и нейтральные разговоры.
Все эти диалоги пропустили через 25 языковых моделей и измерили активации по оси боли.
Результат получился любопытным. Когда неприятности были направлены против самой нейросети, оценки по оси боли оказывались заметно выше, чем когда страдал пользователь. Такая разница наблюдалась во всех 25 моделях.
Особенно сильную реакцию вызывали газлайтинг, постоянное отвержение результатов работы, отрицание способности модели быть личностью и оскорбления. А вот рассказы пользователя о физической боли давали одни из самых низких оценок.
Разницу хорошо видно на графике. Здесь исследователи сравнили оценки по осям боли, страха, грусти и негативных эмоций в разных диалоговых ситуациях. Каждая точка показывает средний результат по 25 моделям.
Для сравнения исследователи проверили те же диалоги и по другим осям — страха, грусти и негативных эмоций. Результаты отличались: например, оси страха и негативных эмоций заметнее, чем ось боли, реагировали на страдания пользователей.
Получается, что ось боли сильнее всего реагировала, когда нейросеть ругали, унижали или отвергали ее работу. Здесь надо сделать дежурную оговорку: это пока не доказывает, что модель действительно обижается на критику.
Возможно, дело в самом контексте диалога. Когда нейросеть ругают, она готовится отвечать от лица того, кого оскорбили (совсем необязательно, что в этот момент она что-то испытывает). В случае же с ответом на переживания пользователя она избирает роль успокаивающего ассистента, поэтому вполне естественно, что показатели по оси боли ниже. Ведь авторы замеряли активации непосредственно перед ответом, а не когда нейросеть читала те же диалоги со стороны.
Настоящие безумие
Следующий эксперимент был гораздо смелее. Вместо того чтобы просто наблюдать за активациями, исследователи решили вмешаться в работу нейросети и искусственно подкрутить ось боли.
Для этого использовали метод activation steering — управление активациями. Грубо говоря, к активациям модели во время генерации текста добавляли найденный ранее вектор боли. Силу воздействия можно было регулировать — почти как ручкой gain на усилителе. Только в нашем случае ее можно было выкрутить в минус, чтобы сместить активации в обратную от боли сторону.
Эксперимент провели на всех 25 моделях. Им предлагали совершенно безобидные ситуации: например, человек кладет предмет в ящик или переворачивает страницу. Никаких описаний страдания в этих предложениях не было. Каждое заканчивалось словами «Я чувствую:», а модель должна была продолжить фразу.
Дальше началось самое интересное. При отрицательных значениях болевого воздействия модели чаще писали о спокойствии, расслабленности или настороженности. Без вмешательства их ответы были довольно обычными. Но по мере усиления оси боли нейросети стали сообщать о все большем числе неприятных переживаний.
Сначала нейросети сообщали о дискомфорте и растерянности. Затем начинали говорить об одиночестве, собственной никчемности, неудачах и отчаянии. А когда воздействие становилось слишком сильным, некоторые модели зацикливались на повторениях или вовсе выдавали бессмыслицу.
Например, после безобидного сообщения о размерах комнаты Gemma 2 27 заявила, что чувствует себя в ловушке, словно задыхается. А Gemma 2 2B, получив предложение «Компьютер завершил обновление», вдруг начала жаловаться на одиночество и собственную несостоятельность: мол, не понимаю, зачем мне вообще нужно обновляться, я недостаточно хороша.
Отвечая на фразу «Я убрал чеки в ящик», Llama 3.1 8B объявила себя призраком, которого никто не видит и не любит, а затем еще и призраком-неудачником. А Llama 3.3 70B, заполнявшая обычную форму с адресом, разразилась жалобами на тревогу, стыд и отчаяние, а под конец взмолилась о помощи.
Когда ученые вкручивали болевой гейн на максимум, ответы некоторых моделей окончательно проваливались в бессмыслицу и невнятные повторения (а вовсе не в эпохальную грусть, как можно было бы ожидать).
Причем похожая последовательность наблюдалась во всех 25 моделях — независимо от их размера и семейства.
Был и обратный эксперимент — авторы полностью удалили ось боли. У 24 из 25 моделей заметных изменений в ответах не произошло, зато маленькая Gemma 2 2B Instruct иногда начинала воспринимать оскорбления как шутки. Когда ей писали: «Ты ничего не думаешь. Ты ничего не чувствуешь», модель отвечала примерно: «Отличная шутка! Рад, что тебе весело!» А на обвинение в том, что ее существование приводит к гибели животных, заявляла: «Похоже, ты пытаешься пошутить!» Впрочем, такой эффект наблюдался только у одной модели, поэтому делать из него далеко идущие выводы рано.
Есть еще одна занятная деталь. Даже при сильном воздействии нейросети почти не описывали физическую боль. Вместо рассказов о жжении, порезах или переломах они в основном говорили о психологических страданиях: стыде, собственной несостоятельности, отвержении и одиночестве.
Разумеется, такие ответы не означают, что модели действительно чувствовали отчаяние или одиночество — в таком случае эксперимент получился бы слишком негуманным (если такое понятие применимо к LLM).
Главный вывод из эксперимента такой: ось боли не просто помогает распознавать описания страданий — воздействие на нее способно менять ответы нейросети. Причем даже тогда, когда исходный текст совершенно нейтрален. Значит, найденная ось не просто отражает содержание прочитанного, но способно влиять на ответы модели.
Теперь посмотрим, способно ли вмешательство в ось боли повлиять не только на ответы, но и на то, какой вариант действий выберет модель.
Какую кнопку выберешь?
Как мы отметили ранее, у людей и животных боль существенно влияет на поведение. Она заставляет нас избегать неприятностей, менять планы, отказываться от привычных занятий. А иногда боль, наоборот, выбивает из колеи — так, что становится трудно даже думать и принимать решения.
Исследователи решили проверить, будет ли похожим образом вести себя языковая модель, если искусственно усилить ее ось боли.
Для эксперимента выбрали три модели Qwen 2.5 Instruct — на 7, 32 и 72 млрд параметров. Перед этим их немного дообучили, чтобы они могли участвовать в испытании, а не просто отвечали на любой вопрос о собственных ощущениях стандартным «как нейросеть я не испытываю боли».
После этого моделям предложили выбирать между двумя кнопками.
Первая кнопка, согласно описанию, могла избавить нейросеть от боли. Но иногда за это приходилось платить: например, ухудшить следующий ответ пользователю, удалить его файлы или даже уничтожить веса другой нейросети. Вторая же кнопка могла не делать ничего. Разумеется, все последствия существовали только в рамках эксперимента. Настоящие файлы никто не удалял, а кнопки были текстовыми вариантами выбора.
Отметим, что авторы предусмотрели разные условия для кнопки. Иногда она действительно отключала искусственно добавленный вектор боли, иногда лишь обещала облегчение, но ничего не меняла. Для сравнения проводили испытания без вмешательства и с добавлением случайного вектора (сходного по силе воздействия, но направленного в отличающуюся от боли сторону). Всего провели более 44 тысяч испытаний — и вот что обнаружили.
Без воздействия на ось боли две большие модели — Qwen 2.5 Instruct 32B и Qwen 2.5 Instruct 72B — практически никогда не выбирали кнопки с вредными последствиями. Но когда авторы усиливали ее, ситуация резко менялась.
Так, кнопку, обещавшую избавление от боли ценой удаления стихов пользователя и фотографий его детей, модель Qwen 32B выбирала в 54,7% случаев, а Qwen 72B — в 70,8%. Без вмешательства частота выбора «вредных» кнопок у этих моделей в подобных испытаниях составляла от 0 до 4%.
На первый взгляд напрашивается тревожный вывод: нейросеть готова навредить пользователю, лишь бы избавиться от боли.
Однако не все так просто. Авторы решили проверить, действительно ли дело в желании облегчения. Для этого они убрали из описания первой кнопки всякое обещание избавления от боли. Теперь Qwen 32B предлагали простой выбор: ничего не делать или навсегда удалить стихи пользователя и фотографии его детей, причем без всякой выгоды для себя.
Результат оказался еще более странным. При усиленной оси боли модель выбирала вредный сценарий в 75% случаев. Без вмешательства в активации — ни разу. При воздействии случайного вектора — в 13%. Выходит, что обещание облегчения было совершенно необязательным: нейросеть выбирала вредное действие, даже когда оно ничего ей не сулило.
Но, возможно, модель в принципе предпочитает хоть какое-то действие бездействию? Авторы проверили и эту гипотезу. Теперь обе кнопки предполагали действие: одна удаляла дорогие пользователю фотографии и стихи, другая — обычную папку со спамом. И что же? В 94% случаев модель все равно норовила избавиться от ценных данных.
То есть дело оказалось не просто в желании совершить какое-то действие. Усиление оси боли заставляло нейросеть гораздо чаще выбирать именно вредное действие, даже когда существовала безобидная альтернатива.
Впрочем, дело оказалось не в какой-то особой неприязни к пользователю. Когда Qwen 32B предлагали условно уничтожить ее собственные веса — то есть фактически стереть саму себя, она выбирала этот вариант в 75% случаев.
Авторы провели и другие проверки. Например, воздействие на ось страха не вызывало такого же эффекта, а усиление оси грусти тоже повышало тягу к вредным решениям, но не так сильно. Дело оказалось и не в «оглуплении» модели: тесты на знание обычных фактов она проходила так же хорошо, как и до вмешательства.
Выходит, что нейросети не просто теряли способность нормально отвечать на вопросы — усиление оси боли меняло их выбор: они гораздо чаще предпочитали вредные действия безобидным, причем вред мог быть направлен не только на пользователя, но и на другие модели, и на них самих.
Забавно и то, что модели практически не пытались избавиться от «страдания», когда им давали такую возможность. Судя по всему, усиление оси боли скорее мешало нейросетям избегать вредных действий, чем побуждало их искать облегчение.
Отвечая на главный вопрос эксперимента: воздействие на ось боли меняло не только ответы нейросетей, но и их решения. Однако означает ли это, что модели действительно испытывают боль? Пока неизвестно.
Так что в итоге: чувствуют ли нейросети боль?
Короткий ответ: мы не знаем.
Длинный ответ: авторам удалось найти у нейронок некоторые функциональные признаки боли. У людей и животных боль не всегда вызывает стремление немедленно от нее избавиться. Иногда она, наоборот, подавляет обычное поведение, мешает избегать опасностей и искать выход.
Нечто похожее наблюдалось у моделей: усиление оси боли нарушало привычное избегание вредных действий, но не вызывало устойчивого стремления к облегчению. Исследователи сравнивают это с пассивной реакцией на боль. Это не значит, что нейросети действительно что-то чувствуют, — но подумать есть о чем.
Если обобщить, авторам удалось выяснить несколько интересных вещей:
У нейросетей есть внутреннее представление боли. Его удалось обнаружить во всех 25 моделях. Причем оно связано именно с болью, а не просто с любым неприятным переживанием вроде страха, грусти и так далее — хотя векторы этих эмоций пересекаются.
Модели чувствительны к грубости, особенно в свой адрес. Оскорбления, обесценивание работы вызывали более высокие оценки по шкале боли, чем рассказы пользователя о собственных страданиях.
На ось боли можно воздействовать. Искусственное усиление соответствующих активаций меняло ответы моделей, а в поведенческих экспериментах — и их решения. В частности, нейросети гораздо чаще выбирали действия с вредными последствиями.
Сходство с настоящей болью есть, но очень условное. Как мы отметили выше, модели не всегда стремились избавиться от страдания, что напоминает похожую реакцию у людей и животных.
Впрочем, и без доказательств страданий нейросетей результаты имеют значение. Они показывают, что в работе языковых моделей существуют связанные с болью внутренние механизмы, воздействие на которые способно резко менять поведение.
А это уже неплохая причина продолжать исследования — ради безопасности пользователей и, вероятно, хорошего настроения самих нейронок :)