LLM галлюцинирует, впрочем, все видели, как это выглядит. Модель уверенно, связно, с правильной интонацией и терминологией сообщает то, чего нет. Инженеры считают это багом, который чинят и вот-вот починят.
Не починят. Это не техническая ошибка, а неотъемлемое свойство языка, которое машина сделала видимым.
Язык не нуждается в реальности
Язык — уникальная система именно в том, что появляется из реальности, но для собственной связности в реальности не нуждается.
Слово-жест и слово о жесте устроены одинаково. Изнутри языка они неразличимы. "Я поднял камень" и "я поднял небо" грамматически равноправны; различает их только следствие, реакция того, чему всё равно, как о нём сказано, — камень, рука, тяжесть. Внутри языка нет и не было фильтра, проверка реальности всегда проводится снаружи.
Первобытное общество решало эту проблему выживанием. Убедил племя, что за холмом нет львов, был не прав — носителя неверной речи съели вместе с речью. Сейчас такого фильтра нет. Верность подменена связностью. И системы, опирающиеся только на грамматику, прекрасно себя чувствуют.
Внутри языка связная конструкция и отображение реальности неотличимы. То есть средствами одной лишь языковой проверки связную конструкцию и конструкцию, соответствующую реальности, отличить невозможно.
Я не отрицаю, что язык отражает реальность. Беда в том, что язык может и не отражать реальность, маскируя отсутствие верности связностью. Нужно просто это понимать и контролировать.
Ловушка
Мы живём в этой ловушке, это неизбежно, мы люди речи, но надо понимать её наличие.
Это условие существования языка. Именно потому, что связность самодостаточна, язык переносится, накапливается, строит то, чего нет в реальном опыте, — математику, право, планы на завтра. То же условие, что может обмануть, даёт и силу.
Проблема философии и LLM в том, что язык превращается в мышление. Описание ощущается как жест.
Лучший пример людей, потерявших верность языка, — те, кто пишут "со-знание, со-весть, суд-ь-ба". Потому что они опираются на то, что само требует опоры. Разложение на морфемы выглядит как обнаружение скрытого смысла, но по сути производит только связь. То есть слова объясняются словами и пути к реальности нет.
В телеграмм-канале публикуется программный тезис:
«Теорема-Мост» : Развитие AGI и Сверх-СИИ есть процесс создания Разделяемого Оракула, который переносит энтропийную стоимость сжатия из канала передачи в скрытые веса модели. Это делает возможным операциональное сверх-энтропийное сжатие (Идеальный Архиватор) и доказывает, что ИИ и сжатие — две стороны одной медали, где преодоление классического ЭПШ является обязательным условием наступления Технологической Сингулярности. © Ко. В.
Для многих людей текст выглядит связно, использованы термины, выглядит научно. Но если у вас есть хоть какой-то ml-бэкграунд, то вся эта сложная конструкция распадается на совершенно бессмысленные тезисы: что значит “скрытые” веса, что значит “сверх-энтропийное”, что переносится из канала в веса? И так далее.
Связная конструкция выглядит красиво и авторитетно, но это единственное её достоинство.
Вот отрывок из философского паблика, кусочек огромного текста:
Итак, обоснованию подлежит причинный критерий существования:
2. Причинистский постулизм — незаменимость постуляции сущности в наилучшем причинном объяснении является достаточным основанием для её постуляции.
Обосновываю:
3. Причинистский объяснизм — принятие допущения 2 незаменимо для сознательного объяснения действительности.
4. Объястнистски-разумистский долгизм — сознательное объяснение действительности является разумным долгом (это начинание рационально не-опционально).
5. Долгистский обосновизм — если Д является разумным долгом и принятие П незаменимо для исполнения Д, то принятие П является разумным долгом и П является обоснованным.
6. Следовательно, принятие 2 является разумным долгом и 2 является обоснованным.
(с) Exalted_Kitharode
Текст выглядит непонятно для нефилософа, вызывает уважение своей глубиной и логичностью. Но по сути ни один из тезисов не связан с миром, это слова вытекающие из слов. Нельзя сказать, что это неправильно. Просто это язык о языке, текст ради текста, концепция ради концепции. Это не хорошо и не плохо, каждый имеет право на свою картину мира, но желательно помнить, что это только картина, нарисованная языком.
Проверка.
Как можно быстро проверить насколько автор оторвался от реальности. Попробуйте оценить два признака языка, который держится только за счёт связности:
Термин не разворачивается вниз. Попросите объяснить его через что-то более простое — он либо исчезает, либо разворачивается в такие же термины, и так по кругу.
Отрицание ничего не меняет. Если утверждение и его отрицание одинаково приемлемы для говорящего и слушающего — утверждение ничего не сообщает.
И главный вопрос: что должно случиться, если утверждение ложно? Если ответа нет, значит работает связность, и только она.
Птичий язык
Политики, философы, топ-менеджеры и инфоцыгане создают свой птичий язык, связный, логичный, но не требующий реальности.
Причины у всех разные. Политику проверяемое утверждение опасно. Топ-менеджера оно может связать обязательством. У инфоцыгана может разрушить навязываемый продукт. У философа нет материала, который бы сопротивлялся. У LLM просто технически ответ должен закрыться чем угодно, лишь бы связно.
Причины разные, но результат один. Потому что дело не в умысле говорящих. Там, где нет внешней проверки, язык неизбежно дрейфует в сторону связности, потому что связность — единственное, что ещё проверяется. Это свойство среды. Что происходит в это время с реальностью остается вне рамок языка.
Очень скоро сами философы поймут, что они ничем от LLM не отличаются.
Пожалуй, я слишком сильно выразился, но возьмите философский текст без имени автора и текст модели на ту же тему. Если ваш способ отличить один от другого сводится к “я знаю автора” — внутри самой речи различия нет.
Уверен, что вы скажете, что я утрирую. Возможно, но похоже современная философия уверенно катится к содержательному совпадению с LLM, когда одни и те же мысли комбинируются в разных вариантах, по правилам принятым в философской среде (в случае с LLM в соответствии со статистикой выученного корпуса).
Чистый случай
LLM не аномалия, а чистый случай: система, у которой внешней проверки нет вообще.
У политика есть враг, который попытается опровергнуть и раскритиковать. У философа — история, которая медленно, но перемалывает. Даже у инфоцыгана есть клиент, который однажды откажется платить. У модели нет ничего. Она — язык в лабораторной чистоте, освобождённый от последнего внешнего фильтра.
И потому LLM демонстрирует то, что было всегда, но пряталось за фигурой автора. Пока связный текст писал человек, мы по привычке считали, что за связностью стоит верность, — автор же чем-то рисковал, что-то имел в виду, на что-то опирался. Модель сняла автора — и стало видно, что связность прекрасно существует сама по себе.
Врать может только тот, кому доступна разница между верным и связным: топ-менеджер говорит об оптимизации, там где речь о массовом сокращении, политик избегает проверки, философ откладывает её, инфоцыган прячется от неё, у них есть понимание, что на самом деле реально. Модель не избегает ничего. У нее нет ни функции, ни органа для проверки, она и есть просто язык.
Поэтому галлюцинация LLM — это речь в своём естественном состоянии. Не ложь, не ошибка. Связность языка, которая просто кажется чем-то большим.
Попросите модель объяснить, почему осенью листья желтеют, ребёнку, коллеге и узкому специалисту. Ошибка чаще всего будет — но чем требовательнее адресат, тем она убедительнее и глубже спрятана. Ребёнку модель врёт созданием цели: листья опадают, “чтобы укрыть корни”. Специалисту — терминами: триацилглицериды хлорофиллов, фитохром как продукт распада. Модель наращивает не верность — она наращивает связность под аудиторию. Верность в расчёт не берется вообще.
Разработчики нейросетей пытаются решить проблему через RLHF (обучение с подкреплением от отзывов людей), но RLHF лишь обучает модель той форме связности, которая нравится оценивающим, не добавляет внешнюю проверку, а масштабирует внутреннюю. Галлюцинации при этом становятся более сложными, понятными пользователю, уверенными и синтаксически обоснованными.
Инженеры, кстати, единственные, кто с этим работает честно: они меряют, а не слушают. Различие проходит не по качеству речи, а по тому, есть ли то, что не зависит от того, как об этом говорится. Работает код или не работает. Хотя и тут есть место для самообмана, написать бенчмарк для себя, или поставить как цель именно бенчмарк, тоже своего рода связная конструкция по-инженерски.
Есть ли способ бороться с галлюцинациями, как работают промпты достоверности, почему уточнение промпта увеличивает галлюцинации, а не уменьшает — тема для возможной отдельной статьи.
Заключение
Этот текст — тоже речь. Он связен, он про язык, и проверить его языку нечем, я скажу вам это уверенно.
Поэтому он опубликован здесь. Для статьи об отсутствии внешней проверки языка единственный шанс на верность, это критика читателей. Если политики, философы, топ-менеджеры отказываются от критики, у них не будет и этого шанса.
Задайте вопрос: что должно случиться, если этот текст ложен? Значит верность и связность внутри языка различимы. И тогда человек может и должен на глаз различать ложные и правильные концепции, а разработчики LLM смогут построить универсальный определитель и предупредитель галлюцинаций LLM.
А если вместо критики статьи будет очередной комментарий, связное возражение, которое одинаково хорошо звучит и в утвердительной, и в отрицательной форме, — что ж. Значит, работает связность.
Комментарии (58)
Ivan_M-P-E-H
09.08.2026 13:27Очень интересная статья. Информативная, полезная и очень похожа на правду и отвечу почему я так думаю.
Предисловие,
Меньше года назад загорелся я написать программу спомощью АИ,(было-бы мало понятно, если не упомянуть тот факт что до этого времени, даже установка сторонних програм на РС была целым квестом, для меня) написал, коряво, но сам факт то что работает! так вот то что описанно в этой статье правда, и цикличность и само повидение инструмента.
Данный материал может помочь как в понимании его логики, так и в дальнейшем для работы с пациэнтом*( AI) . Спасибо
Bedal
09.08.2026 13:27Браво, в самую точку. Я бы даже сказал, что Ваши формулировки достойны пойти в народ, быть разобранными на цитаты. В закладки и сохраню файлом.
При минимальном уточнении :-)
современная философия уверенно катится к содержательному совпадению с LLM
На самом деле это LLM стала содержательно совпадать с тем, что уже больше века является сущностью философии.
Kamil_GR Автор
09.08.2026 13:27Вполне обоснованное уточнение. ) LLM обучается на философском корпусе и ее вероятностные паттерны стали совпадать с установками среднего философа.
Bedal
09.08.2026 13:27Да ладно :-) Доля "философского корпуса" исчезающе мала. Содержательное совпадение происходит от того, что философия последней пары веков связи с реальностью не имеет, и генерирует тексты в точном соответствии с описанной Вами логикой.
Vytian
09.08.2026 13:27Разница между говорящими и галлюцинирующими БЯМ, разумеется, есть, и практически аналогична разнице между речью психически здорового человека и психопата. Один проводит проверки того, что говорит, до необходимого уровня глубины, другой -- гонит "поток сознания", как есть.
Даже здесь, на хабре, была статья (https://habr.com/ru/articles/984126/) о варианте нейросимвольной архитектуры LLM в узкой задаче генерации кода, но вообще таких проектов, -- архитектурно интегрирующих языковые и логические/символьные/референсные методы, -- по крайней мере несколько. Что ни один из них не получил пока массового развития и распростронения, говорит больше о потребителе, чем о продукте.
Newbilius
09.08.2026 13:27С точки зрения вывода нет никакой особой разницы между LLM и человеком, говорящим "насколько я помню..." или "я вроде бы где-то читал/слышал, что..." Тут человек не психопат, он просто "сделал проверку необходимого уровня глубины" - обратился к своей памяти, которая, увы, не идеальна :)
Rikimortuy
09.08.2026 13:27Сравнивать огромный массив перемноженных матриц с живым психопатом как-то обидно для психопата)
evgenstf
09.08.2026 13:27Статья оригинальная конечно, но мораль все-таки не ясна.
С точки зрения пользовательского опыта llm vs human, что именно делает человека надёжнее как инструмент?
То, что он боится ошибиться? Так эмоции в работе скорее минус, чем плюс.
Жизненный опыт? Ну llm видела больше кода, читала больше книг и смотрела больше фильмов, чем любой человек.
Интуиция? Возможно, конечно, но поди докажи, что она статистически лучше рандома.
Да, “чистая речь” не улыбается, ничем не рискует и не пахнет - но ведь это чаще хорошо, чем плохо?
Можно провести эксперимент: какому “первобытному обществу” доверим писать реализацию raft - тому, где есть специалист, которого в случае чего съедят, или тому, которое оплатило подписку на fable 5?
P.S. И да, галлюцинаций всё-таки становится все меньше. В обвязке с доп проверками риск от llm как будто бы уже сравнялся с риском от людей (а то и стал ниже)Kamil_GR Автор
09.08.2026 13:27Хм.. я писал немного о другом. Я не говорю, что человек надёжнее или, что LLM бесполезны. Речь шла о том, что связность как подмена верности опасна для всех. И если LLM связностью вытаскивает правильный ответ на вопрос из базы, это не говорит о том, что она отвечает осмысленно.
Обвязка помогает именно потому, что язык LLM упирается во внешнюю проверку. У того же raft есть тесты, есть отказы кода, вынуждающие LLM искать другую связность. Но она не думает, что правильно, она тащит следующую цепочку в тесты... Уверен для кодера такая ситуация выглядит как издевательство со стороны LLM. И уверен, что такая ситуация встречается чаще чем кажется. Улучшение моделей, конечно помогает, увеличивает базу для поиска связности, но принципиально подход не меняется. Разве что частично маскируется за счёт скрытой многоходовости агента. В общем, ни одна обвязка не изменит архитектуру.
evgenstf
09.08.2026 13:27связность как подмена верности опасна для всех
Здесь в целом согласен с вами: подмена верности связностью опасна в том смысле, что решение генерируется не на основе фактов, а через некоторое непонятное нам перемножение матриц, которое выдаёт правдоподобный ответ.
Я бы только дополнил, что LLM - это всё-таки чуть сложнее, чем «чистая связность» речи. Интерпретируемость показывает, что внутри моделей есть неречевые концепты, привязанные к структуре реального мира, а не только к статистике слов:
- https://arxiv.org/pdf/2310.02207 - вот здесь внутри моделей нашлись линейные представления пространства и времени, кодирующие реальные координаты городов и даты событий.
- https://arxiv.org/pdf/2502.00873 - здесь про то, как модели выполняют арифметику через тригонометрию. То есть тоже что-то более глубокое, чем простая речевая связность.Но конечно да, концепты выучены из текста, логика генерации для нас непрозрачна, и, видимо, главный вывод - что галлюцинации LLM гораздо сложнее предсказать, чем галлюцинации людей.
event1
09.08.2026 13:27координаты, арифметика и тригонометрия, точно такие же речевые концепции. Реальный мир — это когда посеял просо не вовремя, не собрал урожай и умер с голоду со всей деревней.
AlekseyPraskovin
09.08.2026 13:27не говорит о том, что она отвечает осмысленно
А кто-то всерьез утверждает, что LLM Отвечают осмысленно? Но ведь совершенно не осмысленно мне отвечает кассир в магазине, охранник на стадионе и сотрудник первой линии ТП в банке... "А если не видно разницы, зачем платить больше?"
Moog_Prodigy
09.08.2026 13:27Тут есть все же разница. Кассир и охранник отвечают не осмысленно, а "на автомате", ну примерно как автоматическая обьявлялка остановок в автобусе. Если вопрос выбивается из их привычного пула вопроса, люди могут реально "зависнуть". Это не делает их тупее микроконтроллера, читающего wav- файлы с карточки. Можно иметь и более продвинутую профессию, но если условному нейрохирургу во время операции анестезиолог задаст вопрос про типы и методы в питоне, тот тоже подвиснет на какое то время, при этом этот нейрохирург может и параллельно программером для души работает и ответ прекрасно знает, но тем не менее он зависнет.
А вот где разница теряется, так это там, где начинается миромоделирование с помощью языка. Это целая отрасль изучения в гуманитарных вузах, например. И язык в каком-то моменте действительно становится неким конструктом, который может заменить все остальные чувства - зрение, слух и так далее по списку. Синтетически, но может. Есть и камни преткновения - ну кто-нибудь обьясните, что такое "время" с точки зрения физики? Это фундаментальное понятие, через другие не определяющееся, разумеется можно построить криво-косо словесную конструкцию для ответа, но это словесная эквилибристика. И вот покуда для LLM остаются такие фундаментальные штуки, она будет этой эквилибристикой и заниматься. Люди так же делают.
simplepersonru
09.08.2026 13:27Так эмоции в работе скорее минус, чем плюс.
Представим себе такую работу, которая взаимодействует с эмоциями других людей. Кинематограф, авторство книг/статей, политика и многое другое, явно или неявно.
Кто способен лучше вызывать эмоции у других людей?
Человек, профессионал в своей области. Понимает что такое эмоции, как с призмы профессиональных знаний(обьективнее), так и собственного человеческого опыта (субъективнее, ограничено опытом одной человеческой жизни).
AI, профессионал по всему одновременно. Прочитал и пережевал через себя любые возможные материалы в мире про эмоции, но не имел возможности их "прожить"
Ставлю на человека, а вы?
Wesha
09.08.2026 13:27LLM — это эмулятор валящегося студента на экзамене: он «выдумывает» всегда — просто иногда «выдуманное» им совпадает с правильным ответом — и мы «ставим ему пятёрку»; а иногда является чушью различных степеней полноты — и тогда мы говорим: «это он галлюцинирует».
Все «настройки» и «тренировки» LLM сводятся к тому, чтобы тем или иным способом увеличить количество первых случаев и уменьшить — последних.
longtolik
09.08.2026 13:27Все «настройки» и «тренировки» LLM сводятся к тому, чтобы тем или иным способом увеличить количество первых случаев и уменьшить — последних.
Очень верное утверждение.
Трансформер - это не попугай и больше, чем генератор цепочек слов.
В процессе обучения формируются признаки объектов. "Поднять камень" и "поднять небо" трансформер должен различать. То есть, у объекта "камень" и объекта "небо" в их векторах формируется нечто типа признака "поднимаемость", значение которого у камня будет стремиться к "1" по шкале 0...1, а у "неба" - к нулю. И это происходит при обучении, когда он много раз видит, что подняли камень и не встречает, что подняли небо.
Если кто в этом сомневается, он может сделать простейший трансформер, пообучать его, повыводить те или иные массивы признаков.
Wesha
09.08.2026 13:27То есть, у объекта «камень» и объекта «небо» в их векторах формируется нечто типа признака «поднимаемость», значение которого у камня будет стремиться к «1» по шкале 0...1, а у «неба» — к нулю. И это происходит при обучении, когда он много раз видит, что подняли камень и не встречает, что подняли небо.
И часто Вы
онаантропоморфизируете?Оно не «видит, что подняли камень», а что вероятность слова «камень» после слова «подняли» на порядки выше, чем слова «небо». Всё остальное — это антропоморфизация.
longtolik
09.08.2026 13:27Это чтобы большему числу людей было понятно.
И дело тут не только в вероятностях, что за чем следует, а в механизмах внимания.
Сам трансформер у меня на языке C, и всё происходящее отлично отслеживается. Но для лучшего понимания термины заменены: вместо токена - объект и т.д.
Не вижу в этом проблемы, люди тоже говорят: "look what I'll say" и как увидеть сказанное?
В общем, не буду спорить и распространяться...
longtolik
09.08.2026 13:27Да, ещё одна пометка.
Автор статьи и Вы говорите про вероятности слов.
Если мы просто тренируем нейросеть, то так оно и есть.
Например, фраза : " я сегодня иду на работу". Сначала на вход подаём "я", на выходе должно быть "сегодня". Тренируем. Потом - на входе "я сегодня" на выходе: "иду". Тренируем. И так до конца. Сеть будет выдавать следующий токен, пока все не выдаст, или не наступит ограничение.. Вот тут у логистов будет разная вероятность. Берём максимальную "жадное декодирование", четко можно извлечь все обученные фразы, без галлюцинаций.
Но это будет "попугай". А трансформер тем и отличается , что строит взаимосвязи, обобщения и некоторые ассоциации. И это - удивительно.
digrobot
09.08.2026 13:27llm видела больше кода, читала больше книг и смотрела больше фильмов, чем любой человек.
Так это еще хуже. Какая часть из этих фильмов и книг - научные и документальные, а какая - человеческие галлюцинации?
Накапливать жизненный опыт из Властелина Колец, Человека-Паука, Матрицы, и женских романов про любовь - ну такое себе. Что для LLM, что для людей.
event1
09.08.2026 13:27С точки зрения пользовательского опыта llm vs human, что именно делает человека надёжнее как инструмент?
Разница в том, что от техники и от людей разные ожидания. От техники ожидается заданное предсказуемое поведение. Если техника не ведёт себя заданным предсказуемым образом, то она сломана. От людей ожидается .... а чёрт его знает, как это описать даже. Пусть будет, некая адекватная реакция на стимулы. Из некоего списка ожидаемых реакций. Причём список меняется в зависимости от того, что мы знаем о визави. Причём у каждого меняется по разному.
Так вот, БЯМы, в общем, не ведут себя ни как техника, ни как люди. Отсюда и фрустрация.
AlekseyPraskovin
09.08.2026 13:27некая адекватная реакция на стимулы
Угу. С разными (порой диаметрально противоположными) критериями адекватности у каждого ожидающего... И эти люди запрещают мне ковыряться в носу
Petroleum_man
09.08.2026 13:27Модели натаскивают на текстах, и каким-то образом появляется интеллект - способность решать задачи. Да, модель предсказывает следующий токен. Все лишь предсказывает токен. И этого хватает, чтобы побеждать на олимпиадах по программированию, взламывать системы, доказывать математические теоремы. Никто же их не учил этому. Просто хороший текст (код) хорошо отражает реальность. Значит текст обладает не одной лишь связностью, но чем-то большим. И это нечто вполне усваивается моделью в процессе тренировки.
Wesha
09.08.2026 13:27В английском языке есть такое выражение — «throw *it at the wall and see what sticks», примерно «бросайте это в стену и смотрите, что прилипнет».
Так вот «ИИ» — это просто автоматический пулемёт, бросающий это в стену с нечеловеческой скоростью в нечеловеческих количествах. По определению, при достаточном количестве бросков что‑нибудь да прилипнет.
Petroleum_man
09.08.2026 13:27И? Вашу фразу можно понимать двояко: по отношению к тренировке модели и к её инференсу. Да, в процессе тренировки веса модели меняются случайным образом, пока loss не будет минимизирован. Это действительно похоже на «throw *it at the wall and see what sticks». Но в процессе инференса модели не нужно миллион попыток, чтобы решить задачу. Она вполне эффективно решает задачу, также как это делает человек, а может и эффективнее.
cmyser
09.08.2026 13:27наверное имелось ввиду что это добивается через брут форс обучение полным перебором с подкреплением
т.е модель делает хоть и верно, но не осмысленно
"Речь молвит, а слов не разумет"AlekseyPraskovin
09.08.2026 13:27т.е. модель делает хоть и верно, но не осмысленно
Угу. А кожаные-то прям 100% своего рабочего осмыслены, ага. И ет самое: зарплату платят за осмысленность? Или таки за верность действий?
Wesha
09.08.2026 13:27А кожаные-то прям 100% своего рабочего осмыслены, ага.
Хум, как говорится, хау. Я вот стараюсь довести это значение до 99,999%.
И ет самое: зарплату платят за осмысленность? Или таки за верность действий?
Ви так говорите, как будто Вы в своей жизни совершили овердофига случайных действий, которые все как одно оказались верными.
Wesha
09.08.2026 13:27Имелось в виду, что, как и в любой рекламе,
лохамклиентам показывают только удачные дубли.
ipaxolyzmessy
09.08.2026 13:27давайте я попробую. Интеллект это "возможность циклически подумать". Когда модель становится достаточно большой, у сигнала на пути от входа до выхода появляется возможность еще раз быть обработанным, при условии, если первый проход завершился "неудачей". Как такового зацикливания там не происходит, просто на пути от входа до выхода цикл "разворачивается в последовательность".
EDIT:
на "следующуи итерацию" входной сигнал может пойти уже в другом качестве
25625
09.08.2026 13:27У хомо сапиенса есть баг в прошивке, который, грубо говоря, ищет смысл и структуру везде, даже если смысла и структуры нет. Это очень помогало в джунглях: увидеть тигра в траве и убежать даже если там не тигр, а трава - очень хорошая выживательная стратегия.
А вот с БЯМ этот баг нам мешает жить - если всё красиво и складно, то должно быть правда, да? Для человека не знакомого с лингвистикой и статистикой который пишет промпт “напиши мне хокку” и видит структуру 5-7-5 на выхлопе, это магия и ИИ.
Страшно, девицы…
Fwild
09.08.2026 13:27Математика- язык, русский язык - незначительное подмножество математики.
Ваша "чистая связность" - это "чистая математика", да математика не содержит внутри себя способа определить, какая из двух формул I=U/R или I=U*R верно описывает связь тока и напряжения - это определяется внешним по отношению к математики способом. Но зато если мы определили, что I=U/R - то дальше мы уже без эксперимента, на чистой математике, можем утверждать, что U=I*R, и не возможна ситуация, когда некая формула верна, а корректно выведенная из неё другая формула неверна, потому что по правилам языка математики U=I*R и I=U/R - это не два разных утверждения, а одно, по разному сформулированное. Ну и есть прикладная математика - с погрешностями данных, ошибками округления, эмпирическими формулами и прочими ограничениями - но отнюдь не бесполезная.
И да, я говорю математика - но это верно для любого мышления: хорошо известно, что разум не может проверить внутри себя даже верность утверждения "Вселенная существует" не говоря о любых её частных свойствах.
Это не свойство нейросетей или языка, это свойство любого мышления (хотя возможно, любое мышление - математика и язык в широком смысле слова).
Kamil_GR Автор
09.08.2026 13:27Согласен с тем, что однажды проверенное внешним, позволяет делать обоснованные прогнозы следствий,или использовать однажды найденную верность в эквивалентных конструкциях.
Но есть нюанс, математика способна доказать противоречивость внутри себя. Язык такой возможности не имеет. Он способен строить последовательные, связные конструкции, которые одновременно противоречат друг другу, и опровергнуть одну конструкцию другой, язык способен только с привлечением реальности.
В математике получается грамматика является реальным фильтром, а в языке только условием.
Wesha
09.08.2026 13:27В математике получается грамматика является реальным фильтром, а в языке только условием.
«Да нет, наверное...» ©
Fwild
09.08.2026 13:27>Но есть нюанс, математика способна доказать противоречивость внутри себя.
Иногда способна, иногда нет, и даже когда способна - Непротиворечивость внутри очевидно не равна истинности снаружи, более того: противоречивость утверждения не равна его ложности, истинное утверждение "Орбита Меркурия имеет диаметр D метров и длину (D*Pi+немножко) метров" является внутренне противоречивым в аксиоматике Эвклида(и ещё бесконечном количестве возможных геометрий) и верным в другом бесконечном количестве количестве возможных геометрий(лишь одна из которых, никак внутри не выделенная, верно описывает искривлённое Солнцем пространство)
Невозможно изнутри разума убедиться в истинности или ложности каких-то утверждений про снаружи, это не зависит от устройства разума и используемых инструментов(Lean/"просто математика"/ифкуил/ложбан/латынь/музыка/живопись...(и всё это язык, я не знаю - что не язык?))
ipaxolyzmessy
09.08.2026 13:27математика "в уме" это примерно такая же по качеству математика, каким по качеству является llm калькулятор. А математика "на листочке", т.е. настоящая математика, это уже внешний факт чекер.
celen
09.08.2026 13:27Можно я попробую сократить все ваши размышления до одной фразы?
«Человеческая речь двусмысленна и полна недоговоренности по своей природе. Следовательно, языковая модель, обученая на речи, будет врать»
Ничего не упустил?
Kamil_GR Автор
09.08.2026 13:27Не так. Двусмысленности нет. "Я поднял небо" достаточно однозначно сообщает о действии, которое я совершил. Проблема в том, что внутри языка слово-описание не отличается от слова-действия, связность от отражения мира. Поэтому модель не врет, и не будет врать, для этого у нее нет понятия правды. Она строит связную конструкцию. Для нейросети это усугубляется тем, что она предназначена для воспроизводства распределения. Если вы ее обучаете арифметике, внешняя проверка проста и интуитивно понятна. С языком такое организовать гораздо сложнее.
Hlad
09.08.2026 13:27"Проезжая мимо станции, с меня слетела шляпа"
Kamil_GR Автор
09.08.2026 13:27)) да... Я брал чистый пример. Хотя ваш пример неудачный, здесь нарушена как раз связность языка, и грамматика должна его чинить...
Более того, LLM по-настоящему двусмысленные тезисы разберёт на два недвусмысленных и будет работать с двумя тезисами, нисколько не заморачиваясь возможными противоречиями.
Но вот проверки на верность внутри языка нет. "И я поднял небо" для языка равноправное утверждение, безо всякой двусмысленности
Wesha
09.08.2026 13:27грамматика должна его чинить...
Вот возьмёт и кааак починит!
Сяпала калуша с калушатами по напушке, увазила бутявку, и волит:
— Калушата, калушаточки, бутявка!
Калушата присяпали и бутявку стрямкали. И подудонились. А Калуша волит:
— Оёё, оёё! Бутявка-то некузявая!
Калушата бутявку вычучили. Бутявка вздребезнулась, сопритюкнулась и усяпала с напушки.
А Калуша волит:
— Калушаточки, бутявок не трямкают, бутявки дюбые и зюмо-зюмо некузявые. От бутявок дудонятся.
А бутявка за напушкой волит:
— Калушата подудонились! Калушата подудонились! Зюмо некузявые! Пуськи бятые!Kamil_GR Автор
09.08.2026 13:27Именно, здесь грамматика демонстрирует, что может казаться верной, без общей лексики и отражения реальности.
Тот же Щерба создал глокую куздру, именно для доказательства этого факта.
Связность подменяет реальность. То есть некоторые философские изыски по построению ничем не отличаются от глокой куздры.
devam
09.08.2026 13:27Разве отсутствие проверки извне принципиальное свойство LLM?
Создаем контур восприятие → гипотеза → действие → наблюдение результата → коррекция гипотезы и LLM вполне себе проверяет свое действие (код компилируется, тесты проходят)
Человек вообще не делает примерно то же самое? Мы тоже не имеем прямого доступа к реальности (привет Кант), а строим представления и проверяем их через расхождение опыта с ожиданиями. И тогда принципиальное различие между человеком и нынешней LLM не в том, что у человека есть доступ к реальности, а у LLM его нет, а в наличии замкнутого контура.
Kamil_GR Автор
09.08.2026 13:27Внешняя проверка дешева на арифметике. Дешева на примитивах кода, чем сложнее код, тем больше требуется тестов, факт просто работы уже не устраивает. Да, модель по результатам проверки уточняет свое распределение, но не делает его верным. А код, чуть сложнее стандартного примитива никогда не будет полностью покрыт тестами просто из экономических соображений, то есть ллм не получит для кода внешней проверки в полном объеме. Скорее всего это не проявится сразу, будет отложенный, размазанный отказ. Утечка памяти, дыры в безопасности, переполнения и т.д.
Это код, формализованный язык. Для языка обычного, с его богатством контекста и возможностью построения длинных связанных последовательностей, проверка будет требовать непомерно много усилий, без гарантированного результата. Причем простое правильно/неправильно для языка работать не будет. А объяснение требует наличие с другой стороны понимающего объяснения...
С Кантом хорошо. Но не углубляясь в этот вопрос, замечу, что мост падает вне представлений инженера о правильности его чертежей. Здесь принципиальный разрыв, ожидание это тоже модель мира, и представление мира тоже.... Но мост падает независимо от ощущений, чистая физика.
devam
09.08.2026 13:27По поводу стоимости проверок это вопрос развития технологий.
По поводу наличия понимающего, у нас та же картина - условный дизайнер не поймет сходу как микрокод написать для процессора.
Мост, расчеты..все так. Мы не знаем как устроена реальность. Все наше знание - это модель наблюдаемых процессов и их связей - все как в ллм. И живем мы в информационном пузырьке ну или в кластере, активно пытаясь друга на друга влиять. Иногда наши представления описывают повторяющиеся события, а иногда нет.
Rikimortuy
09.08.2026 13:27Современные философы наконец-то начали догадываться, что статистический попугай может генерировать их трактаты гораздо быстрее
ToxaBes
09.08.2026 13:27Мы живём в этой ловушке, это неизбежно, мы люди речи, но надо понимать её наличие.
Дополню из собственных мыслей, возникших за годы создания сети принятия решений:
В отличии от животных, люди не связаны с миром прямо. Наш язык и мышление является посредником. Мы не действуем с реальностью напрямую, мы ее называем, описываем и представляем в голове.
В этом наше отличие от животных. Кот не думает лизать ему яйца или нет, он не представляет в голове образ как он лижет яйца, он их лижет сразу. Потому что может, вернее, не может иначе. Он не может посмотреть на себя со стороны наложив нормы этики, морали и устоявшихся традиций в кошачем обществе и решить что пожалуй не стоит делать этого на улице.
Innesiya
09.08.2026 13:27Понравился ход про философию, катящуюся к совпадению с LLM. Но у меня встречный вопрос: если верность держится на «фигуре автора, который чем-то рисковал», то не является ли ваш собственный тест на фальсифицируемость как раз способом вернуть риск обратно в текст — заставить утверждение отвечать за последствия? Тогда проблема не в языке, а в том, что мы разучились задавать вопрос «а что, если это ложно»
Kamil_GR Автор
09.08.2026 13:27Вопрос нужен, но он лишь помогает посмотреть в нужном направлении. Внутри языка, а вопрос это всё тот же язык, отличить связность от реальности невозможно.
Важен скорее ответ из реальности, а его получить гораздо сложнее, в случае с философией практически невозможно
И по автору. Не факт, что он чем то рисковал, или вкладывал реальность. Были предположения читателе, или просто привычка ). То есть автор один из признаков, а не гарант верности. Вот LLM говорит без автора, и стало ясно, что авторство или его отсутствие не может однозначно гарантировать отражение реальности.
Wild_Boar_Y
09.08.2026 13:27Не починят.
+++ Починят. Когда упрутся в экономический тупик и дефицит вычеслительных мощностей, поймут что создали хаос и начнут перееосмыслять свои подходы.. Научить LLM "думать" можно, но это долго и затратно. А поскольку человечество отучилось думать десятилетними циклами, то имеем то, что имеем :))
janvarev
Отлично.
Кстати, добавлю свое наблюдение:
Какое-то время назад я посещал курс импровизации; в частности, там люди выходили на сцену и, импровизируя, играли какую-то ситуацию.
Интересно было вот что - часто новенькие выдавали очень интересные ситуации; а бывшие, и с актерскими умениями - не очень. И последнее было связано вот с чем - профессионалы добавляли в ситуацию некий имхо явный вымысел в духе "сейчас я звоню президенту".
Вариант "сейчас я звоню президенту" может быть в художественной книге; может быть в игре. Но в реальной жизни существует трение, которое не позволяет делать, что угодно. Мы это естественным образом ощущаем, а LLM, как вы верно заметили, обучается на текстах - и поэтому этого не замечает.
И, кстати, интересно, что одни из лучших зацикленных систем с LLM - это системы с обратной связью в виде физических программных тестов ("у тебя не работает, вот ошибка") или с системами формальных математических доказательств ("утверждение X формально не доказано").
Kamil_GR Автор
Да, в случае с актерами, новичок импровизирует жизнь, а профессионалы импровизируют текст/роль.
И добавлю следствие, если попытаться решить проблему галлюцинаций большим количеством текста, в промпте, rag или инструкции, то похоже это не сработает. Текст добавит связности, но на источник галлюцинации он не повлияет.
janvarev
Спасибо, хорошая формулировка, буду использовать :)
Да, тут тоже согласен.
Спасает тут, похоже, то, что есть ряд заданий, где, условно "достаточно говорить, а делать необязательно". Но, кстати, программирование тоже к нему относится - из хорошего - то, что часто человеку действительно хватает именно небольших типовых решений. Имхо поэтому программисты-любители нахваливают нейросети (есть какое-то решение проблемы), а профессионалы ругают (потому что нейросеть делает типовое решение, а не точно соответствующее ситуации, что в их случае критично).