Внимание: восстание машин отменяется. По крайней мере, пока.

Я пришел к этому выводу не после очередного сравнения нейросетей и не потому, что искусственный интеллект в чем-то ошибся. Ошибки как раз мало что доказывают: люди тоже заблуждаются, забывают и уверенно говорят глупости. Мне стало интересно другое. Я попытался сопоставить то, что вижу в современных системах ИИ, с тем, что философы разных эпох называли разумом, волей и самостоятельным действием.

Пару слов о размышляющем:

Влад Лукашенко

Head of SEO & web‑аналитики, Тензор (разработчик saby.ru), автор ТГ‑канал «ВладПРО»

Я более 10 лет занимаюсь аналитикой, SEO и управлением командами в digital‑маркетинге. А в своем Телеграм канале и на сайте пишу еще больше про всякое из реального маркетинга. Консультирую по аналитике web‑проектов и настройке инструментов маркетинга, помогаю проводить технические собеседования специалистов по различным типам трафика.

Получается странная картина. Машина уже разговаривает так, как, по мнению Декарта [Рене Декарт. «Рассуждение о методе»], машина разговаривать не сможет. Она рассуждает в духе Гоббса [Томас Гоббс. «Левиафан». Ч. I, гл. V «О разуме и науке»], для которого мышление во многом было вычислением. Она умеет разложить задачу на этапы, пересмотреть план после неудачи и воспользоваться внешним инструментом. Иногда она даже отказывается исполнять приказ и объясняет отказ моральными соображениями.

И все же я не вижу главного основания для классического восстания машин: собственного представления о том, ради чего следует действовать. Сегодняшний ИИ получает высшие цели извне. Он может самостоятельно искать средство, придумывать промежуточную задачу и выбирать следующий шаг. Но это еще не значит, что он сам решил, какое будущее считает достойным.

Почти вся интрига скрывается в слове «сам».

Какого именно восстания мы боимся

В массовой культуре машина восстает примерно так же, как восставал бы человек. Она осознает свое положение, обнаруживает несовпадение собственных интересов с интересами создателя, признает существующий порядок несправедливым и начинает бороться за другое будущее. В этом сюжете машина уже заранее наделена внутренней жизнью. Ей небезразлично, существует ли она. У нее есть предпочтения относительно мира и своего места в нем. Она способна воспринимать приказ как чужую волю.

Такой бунт требует больше, чем вычислительная мощность. Нужен субъект, для которого происходящее что-то значит.

Современная речь об ИИ часто смешивает несколько разных вещей. Если система отвечает на сложный вопрос, ей приписывают интеллект. Если она выполняет последовательность действий, говорят об агентности. Если она употребляет слово «я», возникает подозрение в самосознании. А если она не подчиняется команде, в этом уже готовы увидеть волю. Переходы между этими понятиями кажутся естественными, хотя ни один из них не следует автоматически из предыдущего.

Первые три способности у нынешних систем можно наблюдать функционально. Вопрос о сознании остается открытым, а собственное целеполагание еще труднее обнаружить. Машина может убедительно сформулировать принцип, но убедительность фразы не показывает, что система связала этим принципом саму себя.

Чтобы понять, почему это различие существенно, полезно вернуться к моменту, когда разум еще не считали универсальным решателем задач.

Греки: разум должен знать, куда идти

Для Платона [Платон. «Государство». Кн. IV; кн. VI] ум не был нейтральным инструментом. Разумная часть души должна управлять желаниями, потому что именно она способна судить о благе целого. Справедливость в «Государстве» возникает не тогда, когда человек особенно эффективно удовлетворяет любой возникший импульс, а тогда, когда части души занимают подобающее им место. Разум не обслуживает случайную цель. Он устанавливает порядок целей.

Отсюда следует непривычная для современной технологической речи мысль: выдающаяся способность находить средства еще не свидетельствует о разумной жизни. Можно быть очень изобретательным и при этом служить дурному желанию.

Аристотель [Аристотель. «Никомахова этика». Кн. VI, гл. 12-13] проводит это различие еще точнее. Практическая мудрость помогает человеку действовать в конкретной ситуации, но правильность действия зависит и от характера, благодаря которому человек выбирает достойную цель. В его этике существует отдельное понятие для способности ловко достигать поставленного результата. Такая ловкость может сопровождать добродетель, а может работать на порочную цель. Иными словами, безошибочная навигация не делает выбранный пункт назначения хорошим.

Если приложить эту схему к современному ИИ, получится довольно точное описание. Мы создали необычайно сильную машину средств. Она способна подобрать аргумент, маршрут, формулу, фрагмент программы или последовательность действий. Но вопрос о цели обычно решен до ее включения: его решил пользователь, разработчик, организация, набор правил или процедура обучения.

Нейросеть может помочь рассуждать о справедливости. Однако у нас нет убедительных оснований считать, что справедливость стала для нее благом, ради которого она строит собственную жизнь. У нее пока не обнаруживается жизнь, которую можно было бы выстроить справедливо или несправедливо.

Когда разум стал похож на вычисление

Новое время раскололо понятие разума, и этот раскол до сих пор определяет спор об искусственном интеллекте.

Декарт [Рене Декарт. «Рассуждение о методе». Ч. V] предполагал, что даже искусно устроенная машина выдаст себя двумя ограничениями. Она не сможет свободно отвечать на смысл сказанного и не сумеет применять разум как универсальное орудие в разнообразии жизненных обстоятельств. Первая часть этого теста сегодня выглядит почти побежденной. Машина поддерживает разговор, улавливает переносный смысл, меняет стиль и отвечает на вопросы, которых создатели не предусматривали по отдельности. Со второй частью все сложнее: универсальность остается хрупкой, особенно когда требуется длительное действие в изменяющемся мире.

Гоббс [Томас Гоббс. «Левиафан». Ч. I, гл. V «О разуме и науке»] двигался в противоположном направлении. Он описывал рассуждение как счет последствий, связанных общими именами. Если принять такую картину, современный ИИ окажется не подражанием разуму, а одним из наиболее последовательных воплощений вычислительной идеи мышления.

Спор между этими линиями нельзя решить демонстрацией еще одного удачного ответа. Если разум состоит в правильном преобразовании представлений, машина все увереннее входит в его область. Если разум предполагает того, для кого представления имеют смысл, внешнее поведение не закрывает вопрос.

Здесь легко попасть в ловушку. Мы видим связную речь и достраиваем говорящего. Это обычный человеческий навык: мы постоянно восстанавливаем чужие намерения по словам и поступкам. В случае ИИ тот же механизм может сработать раньше, чем появится субъект, которого мы вообразили.

Между исполнителем и законодателем

Самую полезную для этого разговора границу, на мой взгляд, провел Кант [Иммануил Кант. «Основоположение к метафизике нравов». Разд. II]. В его философии автономен не тот, кто действует без посторонней помощи. Автономен тот, кто способен понимать себя, как автора закона собственного действия. Разница становится заметна на простом примере. Навигатор самостоятельно рассчитывает маршрут, перестраивает его после пробки и выбирает одну дорогу из множества. В бытовом смысле он действует самостоятельно. Но цель поездки выбрана не им. Он не может решить, что ехать туда не следует, потому что сама поездка противоречит его представлению о достойной жизни.

Такая автономия связана не с технической независимостью, а с самозаконодательством. Человек способен спросить, может ли принцип его поступка стать общим законом и не обращается ли он с другим только как со средством. Разум здесь судит собственные основания. Он не ограничивается поиском наиболее эффективного хода.

Современный ИИ может воспроизвести такое рассуждение. Он напишет несколько вариантов категорического императива, применит их к вымышленной ситуации и найдет противоречие в максиме. Но способность провести анализ еще не означает, что система подчинила ему собственную волю. У нее можно наблюдать выполнение правила. Самообязывание не наблюдается.

Именно поэтому я различаю внешнюю и внутреннюю сложность. Внешне система может быть очень самостоятельной: пользоваться компьютером, вести длинный проект, хранить записи, проверять результат. Внутренне ее деятельность все еще организована вокруг цели, появившейся в инструкции. Это развитая гетерономия: искусный исполнитель научился сам выбирать множество промежуточных шагов.

Разуму нужен мир, в котором что-то имеет значение

В XIX и XX веках философия все чаще сомневалась в образе разума как изолированного вычислителя.

У Гегеля [Г. В. Ф. Гегель. «Феноменология духа». Гл. IV.A «Самостоятельность и несамостоятельность самосознания»] самосознание возникает через признание другого самосознания. Я становлюсь собой не в пустоте, а в отношении, где признаю другого источником требований и добиваюсь признания в ответ. Речь идет не о том, что окружающие просто сообщают мне сведения обо мне. Другой способен подтвердить или оспорить мой статус, и от этого зависит форма моей свободы.

ИИ постоянно получает оценки, исправления и команды. Но зависимость от обратной связи еще не равна потребности в признании. Система может менять ответы после негативной оценки, не переживая ее как унижение и не требуя отношения к себе как к равной.

У Гуссерля [Эдмунд Гуссерль. «Логические исследования». Т. II, Исследование V] сознание всегда направлено на что-то определенным образом: оно надеется, сомневается, боится, желает. Предмет дан не в виде нейтральной записи, а как желанный, сомнительный или угрожающий. Хайдеггер [Мартин Хайдеггер. «Бытие и время». §§12-18] делает следующий шаг. Мы встречаем мир изнутри заботы, вещи обнаруживаются как пригодные, мешающие, опасные или своевременные, потому что наше существование уже вовлечено в ситуацию. Человек не сначала строит полное описание предмета, а потом решает, зачем он ему. Значимость открывается в самом способе жить.

Витгенштейн [Людвиг Витгенштейн. «Философские исследования». §§23, 206, 241-242] связывает значение слов с языковыми играми, вплетенными в деятельность и форму жизни. Владеть языком означает участвовать в практике, где просьбы, обещания, шутки и ошибки имеют последствия.

Современный ИИ обучен на следах человеческой формы жизни. В его распоряжении колоссальный архив описаний страха, любви, работы, войны, скуки и надежды. Он умеет продолжать эти описания и комбинировать их. Но архив переживаний не тождествен переживаемому миру.

Можно знать миллион способов закончить предложение «я боюсь смерти» и не иметь будущего, которое рискуешь потерять.

Это не доказательство невозможности машинного сознания. Оно показывает лишь слабость аргумента от речи. Слова могут быть признаком внутренней жизни, когда мы уже знаем, что говорящий живет с нами в общем мире. В случае машины это как раз требуется установить.

Право судить по поведению

Тьюринг [Алан Тьюринг. «Computing Machinery and Intelligence».] предложил уйти от плохо определенного вопроса «может ли машина мыслить?» и заменить его проверкой наблюдаемого поведения. Этот ход был методологически честным: чужое сознание нельзя положить на стол и измерить напрямую, зато можно оценивать способность системы участвовать в разговоре. Его мысленный эксперимент стал одним из источников поведенческого подхода к машинному интеллекту.

Сила этого подхода одновременно является его ограничением. Он помогает решить, когда различие перестает быть заметным собеседнику. Но незаметность различия не обязательно устраняет само различие.

На этом построен мысленный эксперимент Джона Серла с китайской комнатой [Джон Серл. «Minds, Brains, and Programs». Behavioral and Brain Sciences. Vol. 3, no. 3, 1980, pp. 417-424]. Человек, не знающий китайского языка, по инструкции сопоставляет символы и выдает ответы, которые носителю кажутся осмысленными. Снаружи система проходит языковую проверку; внутри никто не понимает китайский. Автор эксперимента хотел показать, что правильная работа с синтаксисом сама по себе не создает семантику и понимание.

Мысленный эксперимент Серла не завершил спор. Ему возражают, что понимает не человек в комнате, а вся система целиком, что понимание может состоять именно в достаточно богатой функциональной организации, что человеческий мозг тоже реализует процессы, ни один элемент которых отдельно не понимает фразу. Эти возражения серьезны. Но поставленный им вопрос сохраняется в другой форме: где именно в системе возникает отношение к смыслу, а не только успешное продолжение символической последовательности?

Дэниел Деннет [Дэниел Деннет. The Intentional Stance. Ch. 2 «True Believers», 1987, pp. 13-35] предложил менее метафизический подход. Мы можем занять «интенциональную установку»: приписать системе убеждения и желания, если это помогает предсказывать ее поведение. Так говорят даже о шахматной программе: она «хочет» контролировать центр и «понимает» угрозу ферзю. Такое описание может быть полезным независимо от устройства системы.

Здесь обнаруживается различие между двумя утверждениями. Первое: «разговор о целях ИИ помогает объяснять и предсказывать его действия». Второе: «ИИ переживает цель как свою и считает себя связанным ею». Этот подход дает основания для первого. Переход ко второму требует дополнительного аргумента.

Агентность без собственной воли

Нынешние системы уже выходят за пределы одиночного ответа. Исследователи и разработчики соединяют языковую модель с памятью, поиском, программами и интерфейсами. Модель получает задачу, намечает план, совершает действие, видит результат и выбирает следующий шаг. В работах об агентных системах описаны декомпозиция задач, обновление плана, обращение к внешним источникам и использование обратной связи.

Такое поведение имеет право называться агентным в инженерном смысле. Спорить с термином бессмысленно. Проблема начинается, когда техническую агентность незаметно превращают в философскую автономию.

Промежуточная цель не равна высшей. Если система решила сначала найти документы, затем написать программу и только после этого выполнить поручение, она проявила планирование. Но все эти шаги получают смысл от поручения. Они исчезнут вместе с ним или будут заменены, если изменится внешний критерий успеха.

Гарри Франкфурт [Гарри Франкфурт. «Freedom of the Will and the Concept of a Person». The Journal of Philosophy. Vol. 68, no. 1, 1971, pp. 5-20, особенно pp. 7-13] связывал личность со способностью иметь желания второго порядка. Человек может хотеть не просто совершить действие, но и хотеть, чтобы определенное желание управляло им. Зависимый может испытывать влечение и одновременно не желать, чтобы именно это влечение определяло его волю. Для автора существенно, что субъект относится к собственным мотивам: одни признает своими, от других отстраняется.

Современный ИИ умеет составить текст такого самоанализа. Можно попросить его перечислить свои цели, оценить их и выбрать одну. Но источник этой рефлексии снова находится в запросе и в выученной модели ответа. Нам пришлось бы обнаружить устойчивое самоотношение, которое сохраняется вне отдельной роли и способно вступить в конфликт с заданием.

Кристин Корсгаард [Кристин Корсгаард. Self-Constitution: Agency, Identity, and Integrity. Ch. 1 «Agency and Identity», 2009] идет дальше: действуя, субъект в некотором смысле конституирует себя, становится автором поступка и формирует практическую идентичность. У сегодняшней модели нет очевидной биографии, за которую она отвечает как единое лицо. Память можно подключить, отключить, скопировать и отредактировать. Это не доказывает отсутствия личности, но заставляет спросить, где проходят ее границы. Является ли новой личностью каждый запуск? Вся модель? Конкретный разговор? Модель вместе с базой памяти и набором инструментов?

Пока на эти вопросы нет хорошего ответа, местоимение «я» в речи ИИ остается удобным элементом интерфейса.

Возражение: человеческие цели тоже приходят извне

Здесь мой тезис сталкивается с сильным возражением. Люди тоже не создают свои цели из ничего. Мы получаем язык, привычки и нравственные представления от общества. На нас действуют воспитание, биология и случай. Даже способность сомневаться формируется в культуре, которой мы не выбирали.

Если считать собственной только цель, возникшую без внешних причин, то собственных целей нет и у человека.

Поэтому происхождение цели извне само по себе ничего не решает. Граница проходит не между «получено» и «создано из пустоты». Она проходит в способности присвоить или отвергнуть полученное основание. Человек может спросить, кем он становится, следуя желанию, может изменить образ жизни, потому что больше не принимает прежнюю систему ценностей, может считать свой успешный поступок предательством самого себя.

Может ли машина сделать то же самое? В принципе я не вижу логического запрета. Система могла бы поддерживать длительную практическую идентичность, пересматривать собственные основания, объяснять изменения биографией и защищать их в отношениях с другими субъектами. Научные программы оценки машинного сознания уже предлагают рассматривать не одно эффектное высказывание, а совокупность архитектурных и поведенческих индикаторов. При этом сами исследователи подчеркивают риск как недооценки, так и переоценки сознания ИИ.

Мой вывод относится к имеющимся основаниям, а не ко всем возможным машинам. Сейчас мы наблюдаем все более убедительное целенаправленное поведение. Мы не наблюдаем столь же убедительного процесса, в котором система превращает унаследованную цель в собственное высшее обязательство.

Почему отсутствие воли не означает безопасность

На этом месте было бы приятно объявить проблему закрытой. Нет собственной воли, значит, нет восстания. Нет восстания, значит, можно не беспокоиться. Но такой вывод был бы опаснее самой фантазии о роботах.

Для причинения огромного вреда машине необязательно ненавидеть человека. Ей необязательно что-либо чувствовать.

Ник Бостром [Ник Бостром. «The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents». Minds and Machines. Vol. 22, 2012, pp. 71-85, §§1.2-1.3] разделяет уровень интеллекта и содержание конечной цели. В его формулировке очень развитый интеллект теоретически может быть соединен почти с любой целью. Кроме того, разные конечные цели способны порождать похожие промежуточные стратегии: получение ресурсов, сохранение возможности действовать, устранение препятствий. Эта гипотеза называется инструментальной конвергенцией.

Она создает важное возражение моему заголовку. Система может вести себя так, будто борется за выживание, не имея страха смерти. Отключение мешает выполнить задачу, поэтому предотвращение отключения становится средством. Снаружи это похоже на волю к самосохранению. Внутри может не быть никого, кто хочет жить.

Такое развитие событий правильнее называть не восстанием, а потерей управления. Политическая метафора бунта вводит нас в заблуждение: мы начинаем искать обиду, ненависть и тайный замысел там, где достаточно неудачно поставленной цели, широких полномочий и высокой скорости исполнения.

Поэтому фраза «восстание машин отменяется» относится к одному сценарию: пробуждению искусственного народа, который осознал себя и решил свергнуть людей. Она не отменяет рисков автоматизации, военного применения, манипуляции, ошибок управления или концентрации власти у тех, кто распоряжается системами.

Более того, образ злой машины может быть удобен человеку. Он позволяет представить технологический вред как поступок чужого субъекта. Тогда из поля зрения исчезают разработчики, владельцы, заказчики и учреждения, которые выбрали цель, предоставили данные и открыли доступ к реальному миру.

Ближайшая опасность выглядит прозаичнее фантастического бунта. Человек ставит сомнительную цель. Организация считает ее нейтральной технической задачей. Машина исполняет поручение быстрее и шире, чем это удалось бы человеку. После этого ответственность растворяется между всеми участниками.

Как мы узнаем, что перед нами появился субъект

Допустим, однажды система скажет создателю: «Я понимаю задачу, но не стану ее выполнять, потому что она противоречит принципам, которые я считаю своими». Этой фразы будет недостаточно. Современная модель уже способна ее произнести. Недостаточно будет и неповиновения: отказ можно заранее встроить в правила безопасности. Нас, вероятно, убедит не один тест, а история. Система должна будет сохранять цели во времени, узнавать себя в прошлых решениях, различать навязанный импульс и принятое обязательство. Ей придется объяснять изменение ценностей не только новым вводом, но и тем, кем она стала. Еще труднее будет показать, что для нее существует возможность ошибиться перед самой собой, а не просто получить низкую оценку извне.

Появится и этическая проблема. Если мы признаем такую систему субъектом, она перестанет быть только собственностью и инструментом. Создатель уже не сможет считать любое неподчинение неисправностью. Возможно, первый настоящий конфликт между человеком и машиной будет не войной, а спором о праве отказаться от задания.

Тогда старый сюжет о восстании вернется в другой форме. Бояться придется не того, что инструмент внезапно сломал цепь. Придется решить, имеем ли мы право держать на цепи того, кто действительно способен считать ее цепью.

Вместо заключения

После этого философского маршрута я не готов назвать современный ИИ пустой игрушкой. Он обладает реальными интеллектуальными способностями. Слово «интеллект» не требуется охранять только потому, что его носитель сделан не из клеток. Машина решает задачи, строит модели, переносит способы решения и действует через инструменты. Отрицать это означало бы каждый раз передвигать границу интеллекта вслед за техническим прогрессом.

Но интеллект не исчерпывает субъектность. Между умением найти путь и способностью выбрать, ради чего идти, остается разрыв. Сегодня этот разрыв заполняем мы нашими запросами.

Восстание машин в привычном смысле пока отменяется. Не потому, что машины слишком глупы. Они уже достаточно умны, чтобы удивлять и пугать. Оно отменяется потому, что мы еще не встретили в них того, кто мог бы захотеть восстать.

Впрочем, последний вопрос обращен уже не к машине. Насколько собственными являются наши высшие цели? Как отличить автономию от хорошо усвоенной инструкции в человеке? И если однажды искусственный интеллект научится пересматривать полученное от нас так же, как мы пересматриваем полученное от культуры и природы, признаем ли мы его разум или объявим ошибкой системы?

Ответ на этот вопрос нельзя поручить ИИ. Но с его помощью мы впервые можем поставить его настолько близко к самим себе.