Вы открываете ChatGPT, чтобы быстро проверить одну идею. Через полчаса закрываете вкладку с ощущением, что разобрались в новой теме. Удобно, правда? И гораздо быстрее, чем в эпоху «до ИИ», когда приходилось самостоятельно прочесывать теории и оценивать реалистичность каждой из них... Так мы все чаще отдаем ИИ процесс рассуждений. Но что при этом происходит с нашим критическим мышлением?

Недавно вышло большое исследование, посвященное когнитивной устойчивости (cognitive resilience) общества в эпоху генеративного ИИ (AI Epistemic Risks: Emerging Mechanisms & Evidence). Авторы рассматривают довольно необычную угрозу — почти не говорят о том, что ИИ кого‑то заменит, а смотрят на проблему под другим углом: что будет, если человек постепенно перестанет самостоятельно анализировать и сомневаться. 

Их выводы заставляют задуматься. Человечество уже не раз пыталось изобрести технологию, которая, по мнению скептиков, его «испортит». Неужели нам это наконец удалось? Или мы еще можем изменить свои подходы?

Это мы уже проходили…

История технологий — это последовательность опасений за когнитивные способности человека.

Письменность обвиняли в разрушении памяти. Суть этого спора дошла до нас благодаря Платону. В диалоге «Федр» есть сюжет, в котором бог Тевт преподносит египтянам письменность — «снадобье для памяти и мудрости». А царь Тамус критикует дар: дескать, письменность создает лишь видимость мудрости, люди перестанут тренировать внутреннюю память и станут забывчивыми.

Насколько долго жили эти сомнения, мы не знаем, но сейчас они полностью развеяны: письменность не уничтожила память, а изменила способ ее организации. В 1998 году Andy Clark и David Chalmers предложили концепцию расширенного сознания (The Extended Mind). Идея заключается в том, что некоторые объекты во внешней среде, в том числе записи в блокноте, могут быть частью когнитивного процесса и, таким образом, функционировать как расширение самого сознания. Их наглядный мысленный эксперимент — это человек с нарушениями памяти, но блокнотом в руке. 

Через много столетий после Платона калькуляторы обвиняли в деградации устного счета. Исследования (например, Introducing calculators to learners early in their schooling: The effect on long‑term arithmetic proficiency) действительно показывают, что при раннем и постоянном их использовании навыки устного счета могут ухудшаться. Но при этом не обнаружилось убедительных доказательств, что люди хуже понимают математические концепции. 

Есть, конечно, одна интересная работа (When calculators lie: A demonstration of uncritical calculator usage among college students and factors that improve performance. Mark LaCour, Norma G Cantú, Tyler Davis, PLoS One. 2019 Oct 30;14(10):e0223736), в которой исследователи подменяли ответы калькулятора неверными. Оказалось, положившись на калькулятор, многие пользователи переставали выполнять даже приблизительную внутреннюю проверку результата, спокойно соглашаясь с тем, что дважды два будет пять. Это уже пример аутсорсинга обработки информации. Подозрения в том, что ответ неверный, чаще возникали у тех, у кого в целом выше математическая грамотность (хотя и она уберегла не всех). Этот результат мы еще обсудим позже.

Уже в начале нового века порция негатива и предостережений досталась Google — не конкретной поисковой системе, а интернет‑поиску как явлению. С начала 2010-х, а может, и раньше, появилась идея, что люди хуже запоминают информацию, если знают, что ее всегда можно найти через поиск. Но выяснилось, что человек не столько выкидывает факты из головы, сколько заменяет их информацией о том, где именно они находятся: не теряет память, а меняет ее архитектуру. Пример статьи по четырем исследованиям на эту тему. 

И еще один всплеск беспокойства мы наблюдали вокруг социальных сетей: в нулевых все СМИ трубили о том, что соцсети вызывают рост депрессии и тревожности, разрушают способность концентрироваться и формируют «клиповое мышление», делают людей более одинокими, несмотря на постоянное общение, и снижают удовлетворенность жизнью из‑за постоянного социального сравнения.

После 2020 года появилось довольно много крупных метаанализов, большинство из которых не нашли тех катастрофических последствий, что обсуждались в медиа. «Клиповое мышление» — скорее общественный страх. В научном контексте говорят о влиянии соцсетей на способность к длительной концентрации внимания. Убедительных доказательств однозначной связи не обнаружено. Определенная связь между использованием цифровых технологий и способностями к концентрации, а также с психологическим благополучием действительно существует, но она очень мала. Использование экранов само по себе не является надежным предиктором снижения благополучия. Намного важнее учитывать тип активности, контекст использования и индивидуальные особенности пользователя.

Почему с ИИ все иначе?

Генеративный ИИ участвует не только в доступе к знаниям, но и в самом процессе рассуждений. Модели становятся внешним «внутренним монологом». И настолько глубокий уровень когнитивной деятельности человечество еще не пробовало отдавать на аутсорсинг. ИИ усиливает наши ошибки и отключает внутреннюю критическую переоценку выводов, которая зачастую выступает инструментом контроля.

Мы видим результат, к которому это может привести, «в миниатюре» на примере GPS. Есть множество исследований, показывающих, что постоянное использование навигатора ухудшает способность строить собственные когнитивные карты местности. Что‑то похожее, но в гораздо больших масштабах выявили авторы исследования о когнитивной устойчивости.

В статье AI Epistemic Risks: Emerging Mechanisms & Evidence они довольно ярко подсветили риски, возникающие из‑за интеграции ИИ в инфраструктуру, посредством которой люди и общества мыслят, формируют убеждения и вместе осмысляют мир (массовую литературу, статьи и посты на интернет‑площадках).

С их точки зрения, влияние моделей очень серьезно, потому что:

• ИИ дает иллюзию понимания. Современные языковые модели очень убедительны. Они объясняют последовательно, строят красивую аргументацию, используют уверенные формулировки. У пользователя появляется то, что исследователи называют feeling of knowing without the labour of judgement — ощущение знания без необходимости самостоятельно проделывать работу по его получению.

• ИИ заточен на то, чтобы быть персональным редактором реальности. Социальные сети каждому показывают собственную ленту, а ИИ способен пойти значительно дальше. Он запоминает предыдущие разговоры, стиль общения, любимые аргументы. Подстраивает уровень объяснений, и постепенно модель превращается в собеседника, который вас идеально знает. Так возникает риск формирования персонального информационного пузыря. 

• ИИ имеет огромный масштаб распространения. Человек способен убедить в чем‑то нескольких друзей, блогер — десятки, ну, сотни тысяч подписчиков. А ИИ потенциально может вести миллионы индивидуальных разговоров одновременно. Причем каждый разговор будет адаптирован под конкретного человека.

Именно сочетание персонализации, убедительности и масштабируемости авторы исследования считают принципиально новой угрозой.

Как ИИ усиливает известные когнитивные искажения

ИИ не создает собственные когнитивные ловушки, он просто усиливает уже существующие.

Поиск подтверждений своим взглядам

Если пользователь приходит с уже сформировавшимся мнением, модель сразу же начинает его поддерживать. Это называется сикофантия — стремление согласиться с пользователем вместо того, чтобы искать наиболее правдивый ответ.

Пример из жизни: спросите‑ка модель, почему квас можно рассматривать как отличный спортивный изотоник? Получите массу аргументов за эту теорию. А в другом диалоге спросите, почему это плохой спортивный изотоник. Аргументов там будет не меньше.

Пока модель оптимизируется не под поиск истины, а под получение положительной оценки, пользователь не может отловить ошибку в тех рассуждениях, которыми с ней обменивается, только подтверждает уже сформированное мнение, даже если оно ошибочно.

Сверхдоверие автомату

Пять лет назад разработчик, получивший от коллеги SQL‑запрос, внимательно просмотрел бы код, а сегодня, когда такой же код выдает LLM, велик соблазн просто нажать Ctrl + C. Он может принять сгенерированный код почти без проверки, потому что модель отвечает быстро и обычно дает рабочий результат, который выглядит хорошо. Но именно высокая успешность системы создает иллюзию надежности и снижает критический контроль.

Тот же механизм наблюдали в упомянутых выше экспериментах с калькуляторами — чем надежнее кажется система, тем реже человек ее проверяет. И это современное продолжение классической проблемы, которая проявляется в авиации и при разработке инструментов поддержки принятия решений. Автопилоты и прочие вспомогательные средства внедряются повсеместно с целью «снижения количества человеческих ошибок». Парадоксально, но в экспериментах вроде такого люди с автоматизацией иногда совершали больше ошибок, потому что переставали самостоятельно искать информацию и пропускали проблемы, если система их не подсветила. Они принимали рекомендации системы даже тогда, когда они противоречили другим доступным данным. Авторы назвали это automation bias — тенденция заменять собственный анализ доверенным автоматическим советом.

Эвристика доступности

Наш мозг склонен считать более вероятными те факты, которые более доступны и легче для понимания.

Этот эффект Канеман и Тверски описали в работе по основам когнитивной психологии, вышедшей в 1973 году. В ней люди оценивали вероятность события не по реальной статистике, а по тому, насколько легко они могут вспомнить примеры. Один из примеров: участников спрашивали, каких слов больше: начинающихся с буквы К или содержащих К на третьей позиции? Люди чаще выбирали первый вариант, потому что такие слова легче вспоминаются. Из‑за ошибки в субъективной оценке вероятности люди ошибались и с выводом.

Генеративный ИИ может влиять на этот механизм. Если человек регулярно получает от модели одни и те же примеры, объяснения или аргументы (а именно так происходит, когда ИИ подстраивается под пользовательский «информационный пузырь»), именно они становятся наиболее доступными для памяти. Позже, оценивая новую ситуацию, он может считать такие объяснения более распространенными, типичными или вероятными лишь потому, что они первыми приходят на ум. Так субъективная оценка начинает опираться не на реальную частоту явлений, а на то, что чаще воспроизводилось в диалогах с ИИ.

Эффект якоря

Первое полученное объяснение становится отправной точкой для последующих оценок и решений. Получая новые данные, человек корректирует свою оценку в их сторону, но чаще всего недостаточно (insufficient adjustment); так выбранная стартовая точка влияет на то, придем ли мы к истине (и когда).

ИИ предлагает готовое решение сразу, причем в уверенной и логично выстроенной форме. Например, если модель с первого запроса предложила определенную архитектуру системы, разработчик может продолжать сравнивать все последующие варианты именно с ней, уделяя недостаточно внимания альтернативным подходам.

Все эти когнитивные искажения существовали задолго до появления языковых моделей. Однако ИИ создает среду, в которой все эти механизмы могут работать одновременно. Он быстро предлагает правдоподобное объяснение, охотно соглашается с пользователем, персонализирует ответы и редко заставляет усомниться в собственной логике. В результате когнитивные ошибки перестают быть случайными сбоями мышления. 

Что делать?

В теории с когнитивными искажениями можно бороться, если развитие ИИ будут контролировать люди с прокачанным критическим мышлением. Нужно оценивать ответы моделей, замечать ошибки и проверять аргументацию. Но тут авторы исследования видят парадокс: проверять выводы моделей и принимать независимые решения будет некому, если люди массово делегируют мышление машинам. 

Чтобы разорвать этот порочный круг, отказываться от ИИ необязательно. Однако важно вырабатывать новые когнитивные привычки:

• использовать ИИ как напарника, а не делегировать ему полностью задачи;

• просить не готовый ответ, а подбирать варианты решения с их плюсами и минусами;

• регулярно выполнять интеллектуальную работу без ИИ (как пилот самолета на тренировках) — анализировать факты, сравнивать точки зрения;

• чаще ловить себя на ощущении, что ты все понял, и идти перепроверять факты.

Похоже, ИИ — это первая технология в истории человечества, которая берет на аутсорсинг не память и вычисления, а часть механизма построения вывода. И чтобы не захлебнуться в этом, нам предстоит учиться с ней взаимодействовать.