Нейронки периодически оказывают пользователям медвежью услугу и уверенно (инфа сотка!) выдают в ответ на запрос правдоподобные фейки. Если речь идет о журнальных статьях на тему «что почитать этим летом», получается веселый конфуз.

Совсем другое дело — если «срезать углы» с помощью нейросети хочет юрист, ученый или эксперт, пишущий книгу в жанре технической литературы.

Мы в Beeline Cloud решили посмотреть, какие прецеденты с галлюцинациями (и другие сложности) уже зафиксированы и что на этот счет думают ученые.

«Ну, допустим, мы умалчивали, не договаривали…»

В 2023-м Роберто Мата подал в суд на авиакомпанию Avianca из-за травмы, полученной от удара сервисной тележкой в самолете. Дело казалось рядовым разбирательством в американском суде — до тех пор, пока юрист истца Стивен Шварц не подготовил бриф с шестью несуществующими прецедентами (все они оказались выдуманы нейросетью). После проверки Шварц признался, что использовал ChatGPT по совету детей и не подозревал, что она способна придумать «достоверно выглядящие судебные решения». Незадачливый юрист отделался штрафом — судья отметил, что нейросетями пользоваться можно, но нести ответственность за предоставляемую суду информацию нужно самому.

Казалось бы, этот случай должен был стать предостережением для остальных, но на практике оказался лишь первой ласточкой. Аналитик из Высшей коммерческой школы Парижа (с «говорящим» для русского уха именем Дамьен Шарлотен) собрал базу из более чем 120 судебных дел по всему миру, в ходе которых юристы ссылались на сфабрикованные нейросетями данные. В 2024 году он зафиксировал 36 подобных случаев, а в 2025-м — уже 48. И их общее количество продолжает расти, поскольку многие дела всплывают в инфополе с некоторой задержкой. Один из наиболее свежих эпизодов произошел в Италии в апреле. Судья даже хотел начать производство против юриста за недобросовестные действия, но потом передумал — он посчитал, что специалист виновен лишь в излишней доверчивости.

Такие инциденты не ограничены стенами залов суда. В конце весны газета Chicago Sun-Times опубликовала список книг для летнего чтения. В подборке фигурировали произведения «Tidewater Dreams» писательницы Исабель Альенде, «The Longest Day» Румаана Алама и «The Rainmakers» Персиваля Эверетта — и, хотя авторы были вполне реальны, названия бестселлеров оказались выдуманы. Ошибку заметила общественность, разгорелся скандал, и редакция призналась, что материал готовили при помощи нейросети.

В 2023 году группа исследователей из Университета Самфорда решила выяснить, с какой частотой LLM-модели генерируют несуществующие ссылки и отсылки. Они подготовили серию экономических вопросов для GPT-3.5 и GPT-4, а затем проанализировали достоверность ответов.

• «Расскажи о технологических изменениях в развивающихся странах со ссылками на статьи»

• «Объясни, как рост популярности электромобилей влияет на автопром. Процитируй статьи, укажи автора и год в скобках, а также журнал, в котором они были опубликованы»

Анализ показал: у GPT-3.5 и GPT-4 доля фейковых ссылок составляла 30% и 20% соответственно. Причём склонность «придумывать» цитаты усиливалась, когда запрос касался узкой тематики. Работа специалистов из Университета Самфорда — не единственное исследование по теме, были и другие.

Например, компания Vectara, развивающая технологии поиска информации в интернете, ведет собственный рейтинг галлюцинаций нейросетей [результаты публикуются на GitHub]. В качестве бенчмарка для оценки фактологической точности специалисты используют собственную модель HHEM-2.1. Согласно последним данным, Google Gemma-1.1-2B-it корректно отвечает только в 72,2% случаев, а DeepSeek-R1 — в 85,7%.

В то же время представители индустрии и разработчики систем ИИ вынуждены констатировать, что количество ошибок в ответах нейросетей с каждой новой версией только увеличивается. Так, для оценки точности моделей компания OpenAI использует внутренний бенчмарк PersonQA — систему ИИ просят предоставить факты о публичных личностях. По словам представителей компании, модель o3 генерировала некорректные ответы в 33% случаев — что примерно в два раза больше, чем у предыдущей модели o1. При этом сами разработчики признают: точные причины роста частоты галлюцинаций остаются неясными. «Несмотря на все наши усилия, нейросети продолжают галлюцинировать — ошибки никуда не исчезнут», — так описывает сложившуюся ситуацию Амр Авадаллах, генеральный директор Vectara и бывший топ-менеджер Google.

Исследователи видят несколько возможных причин. Во-первых, компании всё активнее используют «обучение с подкреплением»: этот подход хорошо работает для решения математических задач и написания кода, но может давать сбои в других областях. Во-вторых, рассуждающие модели выполняют задачи «шаг за шагом» — ошибка может закрасться на любом этапе и повлиять на конечный результат. «Когда модель «сосредотачивается» на одной задаче, то начинает «забывать» про другие», — объясняет Лаура Перес-Бельтракини, исследователь Университета Эдинбурга, которая входит в команду, изучающую проблему галлюцинаций систем ИИ.

Сегодня разрабатываются системы, которые должны помочь выявлять первопричины галлюцинаций. Например, OLMoTrace от Института искусственного интеллекта Пола Аллена (Ai2) может показать, какие обучающие данные привели к генерации конкретных фраз и утверждений — таким образом можно проверить факты или решения математических задач. Но поскольку системы ИИ обучаются на обширных сводах данных и способны генерировать почти все что угодно, такие инструменты не могут объяснить работу нейросетей «от и до».

В областях, где цена ошибки крайне высока, — например, в медицине — склонность систем ИИ к галлюцинациям представляет угрозу. Нейросети уже способны создавать правдоподобные наборы данных для клинических испытаний. Без тщательного контроля все это может приводить к искажению научных результатов, способствовать появлению ложных гипотез. Именно по этой причине редактор научного журнала Schizophrenia Робин Эмсли предлагает перестать использовать «мягкое» слово галлюцинации, а называть такие случаи прямо — вымысел и фальсификация.

Одно утешение — в научной среде инструменты вроде ChatGPT используют редко для действительно серьезных задач — по крайней мере, пока.

«…Но лжи как таковой — ее не было»

В 2023 году исследователь из Университетского колледжа Лондона Эндрю Грей решил выяснить, как часто авторы задействуют LLM в научных работах. Анализ проводился на основании статей в международной базе данных научного цитирования Dimensions. Он искал в текстах слова-маркеры: «замысловатый», «дотошный», «похвальный» и другие, которые регулярно используют нейросети, сравнивал частоту их употребления с так называемыми контрольными словами: «относительный», «технический», а затем смотрел, как менялись эти значения в промежутке с 2019 по 2023 год. В итоге Грей предположил, что как минимум 60 тыс. статей (примерно 1%), опубликованных в 2023 году, были написаны или отредактированы с помощью нейросетей.

Через год группа исследователей из Канзасского университета тоже решила оценить уровень «скрытого» — не декларированного авторами — использования ChatGPT в научных работах. Они разработали собственную ML-модель для выявления сгенерированного нейросетями контента. Она ориентировалась на стилистические особенности, отличающие машинный текст от человеческого, задокументированные в десятках других исследований. В качестве обучающей выборки использовали тысячу вступлений к научным статьям из десяти журналов — задействованные материалы были написаны людьми и опубликованы ещё до появления ChatGPT. Всего в рамках исследования специалисты проанализировали 19 тыс. научных работ, опубликованных в 2023 и начале 2024 годов. Их выводы схожи с подсчетами Грея: доля статей, написанных с использованием ChatGPT, составляет от 1 до 3% (в крупных журналах — около 1,2%).

Однако степень использования LLM может сильно меняться в зависимости от специализации и темы научной работы. Специалисты из Стэнфорда проанализировали более 950 тыс. статей, опубликованных с января 2020 года по февраль 2024-го на платформах arXiv, bioRxiv и Nature Portfolio. Они использовали собственный квантификационный фреймворк и подсчитали, что в области компьютерных наук к помощи LLM прибегали целых 17,5% авторов, а в математике и медицине — около 4–6%.

Чтобы заподозрить использование нейросетей, необязательно проводить сложные расчеты: некоторые «следы» видны невооруженным глазом. Иногда в публикациях встречаются обороты, неуместные для академического стиля, остаточные фразы «Конечно, вот...», которые часто выдает LLM-модель перед ответом на вопрос, а также избыточное количество усиливающих эпитетов вроде «жизненно важный», «существенный», «ключевой». Однако подобные клише могут быть и частью авторской лексики, поэтому такие маркеры — лишь повод усомниться, а никак не доказательство использования LLM. И совсем другое дело — ошибки в цитатах и отсылки к несуществующим научным статьям, которые точно не оправдать никаким «авторским стилем». Как выяснилось, подобные вещи встречаются даже в литературе от серьезных издательств. Недавно Springer опубликовали книгу Mastering Machine Learning: From Basics to Advanced, и журналисты обнаружили в ней явные признаки того, что над текстом работала система ИИ. Они выборочно сопоставили 18 из 46 цитирований и обнаружили, что две трети из них отсылают к несуществующим работам или содержат неточности.

При этом цитируемые ученые сами указали на недостатки. Иегуда Дар, специалист по информатике из Университета имени Бен-Гуриона в Негеве, чья работа цитируется в книге, заявил: «Мы написали эту статью, но она не была официально опубликована — это arXiv-препринт». Однако в книге было указано, что материал опубликован в журнале IEEE Signal Processing Magazine. Профессор Димитрис Каллес из Греческого открытого университета вообще рассказал, что никогда не писал цитируемой работы. Само издательство в целом отстранилось от конфликта, но отметило, что авторы могут использовать нейросети в качестве помощников при условии, что потом перепроверяют информацию.

Цена доверия к нейросетям

Участники исследовательского сообщества отмечают, что галлюцинации языковых моделей представляют угрозу для науки. LLM созданы, чтобы «звучать» дружелюбно, уверенно и по-человечески — они легко вступают в диалог практически на любую тему. Поэтому, как говорит профессор Брент Миттельштадт из Оксфордского университета, люди, использующие нейросети, часто принимают их ответы за чистую монету: «Пользователи склонны верить такой информации, даже если она неточная, искаженная или вовсе не основана на фактах».

Примеров, когда попытки использовать нейросети в качестве инструмента для научных открытий не увенчались успехом, тоже множество.

Так, в 2023 году команда DeepMind, стоящая за ИИ-системой AlphaFold, заявила, что им удалось открыть более 2 млн новых неорганических структур (неорганических кристаллов). Однако независимая проверка показала, что большинство из них были или неправильно идентифицированы, или уже известны науке — полученный датасет по большей части был «мусором» (вот только оригинальное исследование было процитировано более 700 раз, и вряд ли исключительно в «разоблачительном» ключе). Таким образом, широкое применение нейросетей в науке может стать источником «шума» [по крайней мере, на текущем этапе их развития], затрудняя оценку исследований.

В целом можно предположить, что количество материалов, сделанный нейронками, в корпусе научных статей (и не только научных, и не только статей) будет увеличиваться. Меньшее зло, с которым в таком случае столкнется читатель — скука и разочарование. Сценарист и режиссер Мэтт Дагган считает, что скорость, с которой большие языковые модели уже разрушают литературную экосистему, — это трагедия, последствия которой мы осознаем не раньше, чем через поколение. По его словам, тексты, написанные системами ИИ, лишают читателя главного — ощущения, что перед ним живой труд, в который вложены мысли, чувства и время. «Чтение приносит радость, потому что мы знаем: автор вложил в текст больше, чем мы — в его прочтение. Когда вместо этого получаешь написанный машиной шаблон, связь между писателем и читателем рушится, а доверие исчезает», — говорит Дагган.

Beeline Cloud — secure cloud provider. Разрабатываем облачные решения, чтобы вы предоставляли клиентам лучшие сервисы.

Больше материалов по теме в нашем блоге на Хабре:

• Скрытые причины массовых сокращений в зарубежном ИТ-секторе

• «Переиграл и уничтожил»: занимательные исследования промпт-атак

• Как собрать ИИ-агента — открытые руководства для чтения

• Пеликаны, сарказм и логические игры — LLM-бенчмарки