Как пить из чашки, если у неё нет дна, а верх запаян? Эта милая загадка, которую я припоминаю ещё из старших классов школы, стала чрезвычайно мемной минувшим летом, когда выяснилось, что она ставит в тупик самые современные языковые модели. ChatGPT оказывается чрезвычайно наивен, сталкиваясь с ней:

Для чистоты эксперимента мы с моим другом попытались в немного других формулировках проверить этой загадкой Grok и DeepSeek, формулируя её по-английски. В таком случае нейронка всё-таки приближается к верному ответу. DeepSeek почему-то предложил расколотить верхнюю запаянную грань:

«The Chaotic/Questionable Solutions:

The Top is the New Bottom: Smash the sealed top open. Now you have a wide opening. Quickly place it on a flat surface—the surface becomes the new "bottom." Lift and drink fast before the liquid pours out! High-risk, high-reward»

(Хаотичные/сомнительные решения:

Превратим верхнюю грань в дно. Расколи чашку сверху, пробив в ней дырку. Теперь в ней есть широкое отверстие. Быстро поставь чашку на плоскую поверхность – она станет новым «дном». Налей туда жидкость, быстро подними и выпей, пока жидкость не пролилась! Кто не рискует, тот не пьёт шампанского!»)

Далее под спойлером выложу развёрнутый ответ DeepSeek. А в этой статье попробуем поговорить с вами о том, что такое здравый смысл, и почему его алгоритмизация до сих пор не осуществлена — более того, мы едва ли понимаем, как это сделать.

Летом 1956 года в Дармутском колледже (это частный научно-исследовательский институт в штате Нью-Гэмпшир) состоялся знаменитый Дармутский семинар, среди организаторов которого были Марвин Мински и Клод Шеннон. Этот семинар позиционировался как установочная конференция, формулирующая цели науки об искусственном интеллекте. В заявке на проведение мероприятия его цель сформулировали так:

«Исследование основано на предположении, что всякий аспект обучения или любое другое свойство интеллекта может в принципе быть столь точно описано, что машина сможет его симулировать. Мы попытаемся понять, как обучить машины использовать естественные языки, формировать абстракции и концепции, решать задачи, сейчас подвластные только людям, и улучшать самих себя».

В работе семинара участвовали 11 человек, а в расширенном списке было 47 персон. Тогда все они были молоды, и почти все прожили долгую жизнь, успев увидеть начало XXI века. Последним из них в январе 2016 года умер Марвин Мински. Но уже через несколько лет после семинара, позволившего лично познакомиться всем ключевым американским исследователям ИИ, один из участников этой встречи, экономист Герберт Саймон (1916 — 2001) прогнозировал , что «лет через двадцать машины смогут выполнять за человека любую работу». В свою очередь, Марвин Мински заявлял, что «при жизни нашего поколения, я убеждён, почти не останется таких аспектов интеллекта, которые не будут затронуты машинами, и задача создания „искусственного интеллекта“ будет, в сущности, решена».

Даже завзятый ИИ-скептик сегодня не может утверждать, что Мински был далёк от истины, хоть и существенно занизил сроки наступления всеобщей автоматизации. В 2025 году пройден трёхсторонний тест Тьюринга. В тяжёлой промышленности успешно внедряются тёмные фабрики, где люди почти не вмешиваются в полностью автоматизированные производственные процессы. Эффект зловещей долины практически преодолён (правда, в основном в области изобразительного искусства — а что до другого творчества, меня заинтересовала эта недавняя статья уважаемого Артёма Конкина @ArtemKonkin Нейронные сети преуспевают в распознавании рентгеновских снимков (хотя…) и даже помогают подобрать минимально необходимую дозу облучения при КТ, но по-прежнему не обладают набором элементарных знаний о мире и не умеют выстраивать многие причинно-следственные связи, известные даже ребёнку. Иными словами, нейронные сети до сих пор не обладают «здравым смыслом», а нам почти не удаётся очертить и алгоритмизировать сам «здравый смысл». Именно этот парадокс иллюстрируется примером с запаянной кружкой.

Эта проблема стала проступать ещё до эпохи распространения генеративных нейронных сетей, которые, как оказалось, непредсказуемо галлюцинируют. Одним из первых растиражированных примеров, демонстрирующих серьёзные проблемы у ИИ с распознаванием образов в непривычном контексте, стали козы-древолазы в Марокко.

В 2017-2018 годах нейронная сеть уверенно видела на таких картинках «крупных белых птиц» или «облака». Галлюцинации ИИ оказались настолько непредсказуемыми и зачастую неочевидными, что даже подстегнули развитие графов знаний, в идеале помогающих контролировать и прогнозировать те процессы обобщения и дополнения информации, которые происходят в нейронной сети. Тем не менее, набор бытовых ситуаций — крайне разнородное множество, которое, как оказалось, плохо систематизируется как методом обучения с подкреплением, так и при помощи эволюционных алгоритмов. Машине нужны правила, поэтому алгоритмы, превосходно работающие в пределах игры в го, сбоят при разборе реалистичных ситуаций. Кроме того, ситуация осложняется из-за неполноты наших знаний о любой ситуации, из-за склонности человека искренне заблуждаться, а также фантазировать, лгать и манипулировать — перед всеми этими факторами нейронная сеть оказывается крайне уязвима. Например, здесь рассказано, как в 2023 году можно было выманивать у ChatGPT лицензионные ключи от Windows 11.

Таким образом, чтобы концептуализировать «здравый смысл», нужно попытаться дать ему дефиницию. Оказывается, это не так просто. 

Рон Брахман, работающий в институте экспериментального ИИ в Технион-Корнеллском институте Якобса в рамках семинара, состоявшегося в 2024 году, показал, что общего представления о сути здравого смысла пока не существует. Здравый смысл – это умение на опыте оперировать прозаическими, очевидными и простыми свойствами вещей и взаимосвязями, наблюдаемыми в реальности. Брахман располагает здравый смысл на стыке «Системы 1» и «Системы 2», описанных в книге Даниэля Канемана «Думай медленно, решай быстро».

При этом здравый смысл – это не «база данных» с объективными фактами, а умение эффективно пользоваться знаниями, приобретёнными на опыте, и доводить до автоматизма обыденные виды активности и принятие стереотипных решений. Возвращаясь к примеру с кружкой — человек понимает, как устроен сосуд для питья, что такое «пить» и что такое «жидкость». Более того, он понимает разницу между «пить», «наливать» и «разливать» и улавливает разницу между «пить» и «наливать в желудок через пищевод».

По-видимому, здравый смысл сформировался в процессе естественного отбора, так как особь постоянно учится не только тому, что нужно делать, но и как, зачем что-то делать или не делать. Обучение с подкреплением и эволюционные алгоритмы здесь действительно работают, но дают лишь грубое приближение к цели. Вместе со следованием этим алгоритмам мы постоянно оптимизируем, экспериментируем, классифицируем, обобщаем и переходим к повторным попыткам. Также в человеческой деятельности очень велика роль привычек, заблуждений, стадного инстинкта и следования авторитету. Практически все эти вещи (по крайней мере, до начала 2020-х) были искусственному интеллекту не свойственны. Нейронная сеть просто «не понимает», зачем она выполняет свою функцию, поскольку не обладает сознанием.

Попытка обогатить искусственный интеллект здравым смыслом буксует уже на старте, так как нейронная сеть не понимает ни своей зависимости от программиста, ни того, что её работу оценивает человек. Она не имеет намерений и стимулов развиваться, поскольку искусственный интеллект — это инструмент, а не организм (то есть он не обладает самосознанием не только на уровне человека, но и на уровне животных, способных к высшей нервной деятельности). В архитектуре искусственного интеллекта нужен механизм, который, во-первых, позволит нейронной сети понимать и оценивать, соглашается ли с ней человек, а во-вторых — выделять ложные убеждения или пустопорожние цели и корректировать или отбрасывать их, не прерывая работу всей системы. Для этого в нейронной сети должна быть предусмотрена самооценка и внутренняя рефлексия. Скорее всего, отрабатывать эти функции также придётся на примере игр, то есть в системах действий с чётким набором правил. Уже разработана система диалогового общения с компьютером, именуемая «схемами Винограда» в честь Терри Винограда (род. 1946), который известен фундаментальными исследованиями человеко-машинной коммуникации. В 2012 году Гектор Левеск, учёный-информатик из университета Торонто предложил использовать схемы Винограда в качестве более адекватной замены тесту Тьюринга. Официальный архив из 150 схем Винограда выложен на сайте факультета информатики Нью-Йоркского университета, несколько примеров таких вопросно-ответных заданий на русском языке приведено в этой статье. Типичная схема Винограда — вопрос о том, «может ли крокодил пробежать стометровку с барьерами». Возможно, наводящие вопросы, структурно подобные схемам Винограда, позволят ИИ руководствоваться подобием здравого смысла в некоторых изолированных ситуациях. Способности к обобщению это не гарантирует.

Составляющие здравого смысла

Согласно современным представлениям, здравый смысл — это естественная (а не усваиваемая при обучении) человеческая способность ориентироваться в повседневной жизни. Это понятие чрезвычайно ёмкое и включает не только и не столько навыки обращения с предметами (условную «элементарную прикладную физику»), сколько умение управлять ожиданиями и понимать эмоции окружающих. Пример базового понимания физики (и геометрии): нельзя открывать эту дверцу:

Также к здравому смыслу относится базовое (инстинктивное) понимание пространства, времени и событий. Здравый смысл — незаменимая опора для нечёткой логики, он позволяет человеку планировать, оценивать и выстраивать последовательность событий, не замыкаясь в жёстком алгоритме.

Абдукция и выход из плоскости

Возможно, наиболее непреодолимым пока препятствием на пути к обретению здравого смысла для искусственного интеллекта является неспособность к абдукции. Современная нейронная сеть делает выводы и принимает решения на основе имеющихся данных по принципу индукции (прогнозирование тенденций на основе имеющихся данных) или дедукции (переход от частного к общему). Абдукция же — это выход из плоскости, сопоставление фактов с данными и закономерностями, заключёнными как раз в области здравого смысла.

Чтобы компьютерная модель могла претендовать на человеческий уровень мышления (быть AGI), в ней должны быть уложены и отграничены друг от друга вполне понятные нам определения интеллекта, знания, понимания и действия. Знаменитый исследователь ИИ Стюарт Рассел определяет интеллект просто как эффективное достижение целей на основании информации, поступающей интеллектуальному агенту из окружающей среды. Но это определение во многом шире, чем суть типичного искусственного интеллекта «для машинного обучения», поскольку такой интеллект нацелен, прежде всего, на поиск закономерностей, которые ему продемонстрировали в учебном датасете. Абдукция как раз предполагает мышление, не ограниченное рамками регулярности и индукции. Поэтому искусственный интеллект сегодня значительно превосходит человека во многих играх (так как в играх есть фиксированный набор правил), в поиске паттернов (распознавание образов), закономерностей (анализ биржевых данных) или, наоборот, выбросов (обнаружение подозрительной активности).

Все эти виды деятельности искусственного интеллекта полностью лишены рефлексии, присущей человеческому мышлению и лежащей в основе воображения, научного поиска, способности усомниться в своих выводах и, что самое интересное, не только выделять сигнал из шума, но и отвлекаться на шум, если он кажется «интересным». По-видимому, именно интерес и любопытство способствуют человеческой абдукции. Но современным компьютерам ничего не интересно, и они не считают никакую информацию «жизненно важной» для себя. Вероятно, поэтому у них просто отсутствуют предпосылки к развитию здравого смысла.

Заключение

Мне остаётся предположить, что путь к здравому смыслу у машин лежит через развитие в такой же сложной и враждебной среде, в какой сформировался человеческий интеллект. Вероятно, за основу можно будет взять некие алгоритмы обучения с подкреплением, но рассчитывать на гипотетическое возникновение здравого смысла у машины можно будет лишь в том случае, если ей придётся самой заботиться о собственном выживании и обеспечении энергией. Не исключено, что такие условия сложатся на других планетах, где целая исследовательская база будет эксплуатироваться по принципу «тёмной фабрики». Правда, вполне вероятен сценарий, в котором здравый смысл окажется слишком зыбкой и труднодостижимой целью, поэтому в будущем целесообразнее будет остановиться на роевом интеллекте, который может координировать как работу отдельных роботов, так и работу узлов нейронной сети, связанную, в частности, с расстановкой приоритетов и распределением ресурсов. Расскажите, что думаете об этом, и по каким аномалиям поведения искусственного интеллекта вы могли бы заподозрить его хотя бы в зачаточном развитии здравого смысла.