Данный текст является переводом эссе Элиезера Юдковски «Cat‑Belling Problems», опубликованного 4 сентября по итогу его дебатов с Джеффри Ирвингом, прошедших 3–7 августа на международной конференции ILIAD-2026, посвященной теоретическим и математическим проблемам безопасности и контроля искусственного интеллекта.

_{Первоначально текст в основном был написан в 2 021 году, а завершен и опубликован только сейчас. Сегодня это обсуждение искусственного интеллекта может показаться странным — он написан в то время, когда люди все еще пытались своим умом решить проблему, которую сейчас назвали бы «супералайментом», используя хитрые планы, придуманные ими самими, вместо того, чтобы сказать: «О, мы попросим Fable решить эту проблему».}

Это эссе о детской басне, которую я прочитал давным‑давно, и об уроке, который я извлек из нее и который пронес через всю свою жизнь.

Это эссе о том, почему я, кажется, совершенно не заинтересован вашей гениальной схемой решения проблемы выравнивания ASI и начинаю выглядеть скучающим и раздраженным, когда вы мне ее объясняете.

И это, хотя и не совсем эссе, рассказ о одном парне из онлайн‑рассылки 1 996 года, который разработал проект реактивного двигателя. С этого проще начать, изложив общую идею, поэтому мы начнем с этого.

Бестопливный двигатель мистера Л.

Ещё в списке рассылки Extropians, на которую я был подписан с тех незапамятных времен, когда мне было еще только шестнадцать, там был парень, чья фамилия начиналась на букву Л. У него был проект бестопливного двигателя для космического корабля, который, как предполагалось, должен был создавать тягу, не отбрасывая массу в обратном направлении. Он назвал его своим именем.*

_{*) По моему разумению, некоторые читатели могут рассуждать так: «Как посмел мистер Л. назвать двигатель своим именем?! Как самонадеянно! Как высокомерно! От этого проекта плохо пахнет, у меня уже плохие предчувствия, так что, вероятно, он не работает». Во‑первых, это было примерно в 1 997 году, и в те времена люди были менее требовательны к статусу изобретателей. Было вполне привычной практикой называть изобретения своими именами. Во‑вторых, на мой взгляд, если бы двигатель работал, мистер Л. был бы абсолютно прав, назвав его своим именем; поэтому суть лишь в том, работает ли двигатель или нет. Или, другими словами — рассуждать «двигатель скорее всего не работает, потому что мистер Л. назвал его своим именем» — это плохой байесовский подход. В гипотетическом мире, где этот двигатель работает, мы вполне можем допустить, что мистер Л. имеет полное право назвать его своим именем, особенно если это 1 997 год, и мы не так уж далеки от более старого мира, где многие изобретатели так поступали.}

С первого взгляда это выглядит как нарушение закона сохранения импульса. В традиционной физике, если космический корабль ускоряется в одном направлении, значит должно существовать что‑то ещё, ускоряющееся в противоположном направлении, и суммарное изменение импульса должно равняться нулю. В научной фантастике, когда постулируются альтернативные физические законы, нарушающие это правило, двигатель подобный тому, который изобрел мистер Л., называют «безопорным двигателем», в том смысле, что такой двигатель нарушает третий закон Ньютона о равенстве действия и противодействия.

В результате, как и следовало ожидать, многие участники рассылки Extropians допытывались у мистера Л., как же может работать его L‑двигатель?

На самом деле (хотя я не думаю, что Л. в полной мере это понимал), проблема была настолько «сложной» в кавычках, что те, кто вообще удосужился попросить мистера Л. объяснить ее, проявили огромную открытость по отношению к мистеру Л. и его идеям — это был великий акт милосердия и соблюдения этики научного дискурса.

Мистер Л. показал нам всем созданную им самим анимированную гифку, на которой был изображен круг с несколькими небольшими массами, вращающимися по часовой стрелке вокруг своей оси. В верхней точке круга движущиеся массы ускорялись, в нижней — замедлялись. Таким образом, массы движутся с правой стороны цилиндра быстрее, чем с левой, что должно создавать результирующую тягу вправо из‑за большей центробежной силы.

Читателю предлагается самостоятельно подумать, в чем, по его мнению, заключается проблема с этим двигателем мистера Л., прежде чем продолжить.*

_{*) Если вы из тех, кто с уверенностью указывает на ошибку, а потом оказывается неправ, то в моих глазах вы не лучше, чем мистер Л., а, возможно, даже хуже. Ведь в тех случаях, когда человечество всё‑таки решает сложные проблемы, вы из тех, кто вносит в дискуссию скорее эмоции, чем разумные аргументы. Но если, читая это, вы лишь осторожно высказываете предположение, а потом оказываетесь неправы, это гораздо лучше, чем вообще не осмеливаться высказывать предположения.}

В чем изъян (нажмите, чтобы развернуть):

Когда массы ускоряются при движении вправо в верхней части цилиндра и замедляются в нижней при движении влево, то что вызывает это ускорение, точно уравновешивается удерживающей массы центростремительной силой. Фактически, «центростремительная сила» с правой стороны, необходимая для удержания движущихся вправо масс в верхней части в точности равна силе, удерживающей эти движущиеся влево массы в нижней части.

Иными словами: если бы вверху шарики влетали в диск извне как футбольные мячи в ворота и затем выстреливались внизу из диска наружу, то правая половина цилиндра действительно ускорялась бы вправо. И потому, уравновешивающая сила, действующая в противоположном направлении, должна исходить от той части системы, которая толкает медленно движущийся вправо шарик вверху и поглощает энергию быстро движущегося влево шарика внизу.

Когда это объяснили мистеру Л., он ответил, что, конечно, знает об этом. Но, сказал Л., он разработал несколько сложных «компенсаторов», чтобы предотвратить точную компенсацию сил.

Л. сказал, что у него есть электронная таблица Excel, показывающая, что суммарная сила всех взаимодействий системы не равна нулю. Но он не может показать нам эту таблицу, поскольку «компенсаторы» являются ключевой, запатентованной частью его конструкции.

Отбросьте всякое негодование по поводу того, что мистер Л. может захотеть сохранить часть своего накопителя в секрете. В гипотетическом мире, где L‑двигатель работает, для мистера Л. вполне может быть логичным держать некоторые его части в секрете, так же как и назвать его в свою честь.

Вместо этого мой следующий вопрос — оставим в стороне все суждения, вынесенные на промежуточном этапе оценки, — как мы можем быть уверены, что Л. не изобрел инерционный двигатель, если мы не можем взглянуть на его электронную таблицу?

Предположим, что мистер Л. был бы физиком, лауреатом Нобелевской премии, и обладал бы всеми необходимыми качествами для совершения незаурядных поступков. Вы всё ещё были бы уверены, что его невидимая электронная таблица содержит ошибки, и если да, то почему?

«Потому что L‑двигатель нарушает Закон Сохранения Импульса», — скажете вы? Но что, по‑вашему, вы знаете и откуда, по‑вашему, вы это знаете? «Ну, — можно представить, как ответил бы мистер Л. (хотя на самом деле он этого не говорил), — закон, о котором вы узнали в школе, является обобщением прошлого опыта: люди до сих пор ни разу не видели, чтобы замкнутая система вызывала чистое изменение собственного импульса, поэтому они выдвинули гипотезу об общем законе, что ни одна замкнутая система не может вызвать чистое изменение собственного импульса. Но главное правило науки заключается в том, что в конечном итоге нужно верить эксперименту. Если кто‑то придумает хитроумную систему, не встречающуюся в природе, которая действительно приводит к чистому изменению собственного импульса, и это будет подтверждено экспериментально, мы будем обязаны внести поправки в учебники, указав, что закона сохранения импульса, оказывается, всё‑таки не существует».

Даже если до сих пор кто‑то видел только белых лебедей, то название этого явления «Законом Белых Лебедей» и его включение в учебники нисколько не укрепляют это обобщение и не делают его более обязательным для реальности.

Или, как недавно перепостил в Твиттере Карл Фейнман, цитату из электронного письма 1 997 года:

Ричард Фейнман (мой отец) разделил вечные двигатели на вечные двигатели первого рода, нарушающие первый закон термодинамики (он же закон сохранения энергии), вечные двигатели второго рода, нарушающие второй закон термодинамики (энтропия должна возрастать), и другие вечные двигатели, которые, как утверждается, получают энергию из других законов физики. 

Второй род встречается реже; единственный известный мне пример — это тот, чертежи которого мне показал мой отец. Время от времени к нему приходили люди с проектом вечного двигателя и спрашивали, выгодное ли это вложение. Один из таких двигателей, как утверждалось, извлекал тепловую энергию из воздуха и приводил в движение генератор. Они построили половину двигателя, который работал, насколько им удалось проверить, и искали доверчивых инвесторов, готовых оплатить его завершение. Тщательно изучив чрезвычайно сложные чертежи, мы с отцом обнаружили «теплообменник», который должен был забирать теплый фреон и холодный воздух и производить горячий фреон и холодный воздух. Естественно, этот теплообменник находился в еще не построенной части.

Эти «другие» вечные двигатели получают энергию за счёт до сих пор неизвестных физических явлений, таких как холодный синтез, вакуумные флуктуации или секретные новые законы физики, которые будут раскрыты только после уплаты 1 000 000 долларов. Они заслуживают гораздо более тщательного научного изучения, поскольку вполне возможно, что кто‑то однажды откроет новый простой способ получения энергии.*

Где‑то в 1 970 году мой отец побывал на публичной демонстрации одной из таких «вечных машин». Он заметил, что с задней стороны машины выходит электрический шнур, вставленный в розетку. Когда он отключил машину от сети и указал изобретателю, что «вечная машина», которой нужно подключаться к розетке, на самом деле не вечна, изобретатель нажал кнопку на панели управления — и машина взорвалась. Несколько зрителей получили тяжёлые травмы; по‑моему, один мужчина лишился руки. Изобретатель подал в суд на моего отца, утверждая, что именно он стал причиной взрыва, а мой отец подозревал, что взрыв был умышленным. Но в результате судебного разбирательства моему отцу не пришлось выплачивать компенсацию.

Эпистемический статус: детские воспоминания, не подвергшиеся проверке на достоверность. Изначально это было электронное письмо от 1 997 года.

_{*) Карл Фейнман отмечает, что формулировка «заслуживают гораздо более тщательного изучения» является его собственным комментарием к поведению отца, а не тем, что Ричард Фейнман прямо сформулировал в качестве обобщения.}

L‑двигатель принадлежит к тому же широкому семейству, что и «вечный двигатель» — он нарушает широко признанный закон сохранения в физике. Если даже Ричард Фейнман занимался исследованием некоторых из них, кто вы такой, чтобы утверждать, что L‑двигатель не заслуживает серьёзного научного изучения?

Если хотите, можете рассмотреть это как коан и придумать свой собственный ответ, прежде чем продолжить: как мы можем быть уверены, что мистер Л. не разработал удачную систему компенсаторов и не проверил этот проект с помощью надёжной электронной таблицы?

Мой ответ слишком объёмный, чтобы поместиться в спойлере, поэтому вам придётся проявить немного самодисциплины, остановиться и найти свой наилучший ответ, прежде чем переходить к заголовку следующего раздела. Это экспериментально подтверждённый метод ускорения обучения — он позволяет вам лучше сопоставить своё предыдущее состояние ума с любой новой мыслью, с которой вы собираетесь столкнуться.

О чудесах, скрытых в сложных системах

Итак, отвечаю:

Закон сохранения импульса не является поверхностным обобщением, применимым ко всей системе, так же как «Закон Белых Лебедей» был бы поверхностным обобщением, применимым ко всем лебедям. Закон, действующий в замкнутых системах, вытекает из обобщения того факта, что каждое отдельное взаимодействие в рамках известной физики сохраняет импульс.

Молекулы в целом сохраняют импульс, поскольку молекулы состоят из атомов, а атомы — из нуклонов и электронов, и каждое известное взаимодействие между нуклонами и электронами сохраняет импульс. Даже это не в полной мере отражает истинную глубину данного закона, ведь на самом деле речь идет о… бла‑бла… квантовой механике, теореме Нётер, инвариантных гамильтонианах… бла‑бла. Но этого достаточно, чтобы донести суть.

Как только мистер Л. заявляет, что у него есть таблица, доказывающая работоспособность его двигателя, мы сразу же понимаем, что в этой таблице содержится какая‑то бухгалтерская ошибка — и это априорно, а не в результате эмпирического исследования. Любая табличная модель, описывающая известные физические законы, будет представлять собой сумму взаимодействий, каждое из которых в отдельности не приводит к какому‑либо чистому глобальному изменению общего импульса.

Сумма арифметической прогрессии, все члены которой равны 0, будет равна 0.

Одно дело — утверждать, что вы разработали альтернативную теорию физики, в которой импульс больше не сохраняется, или что‑то в этом роде; и что вы собираетесь продемонстрировать прототип, парящий в воздухе, чтобы экспериментально доказать свою точку зрения. Это, по крайней мере, можно себе представить. Именно так Ричард Фейнман вел себя, как будто это заслуживало исследования (хотя я не обязательно согласился бы с этим явным утверждением).

Совсем другое дело — сказать: «Ну что ж, я собрал сложную систему из стандартных деталей, которая в итоге нарушает закон сохранения импульса; причём я не просто наблюдал этот результат экспериментально, но и проверил правильность конструкции с помощью электронной таблицы». Это противоречит математике.

В физике нашей Вселенной в принципе могло бы существовать исключение, гласящее, что импульс перестает сохраняться, если космический корабль окрашен в определённый, точно заданный оттенок зелёного. Это маловероятно, но логически возможно, и именно этим Ричард Фейнман иногда занимался, когда кто‑то приводил тот или иной экспериментальный результат.

Взять описание замкнутой системы, не включающее никаких новых физических явлений, и прийти на основании этого к нарушению закона сохранения импульса — вот это действительно невозможно.

Таким образом — не говоря уже о том, что априорная вероятность того, что мистер Л. ошибается, весьма высока — как только мистер Л. заявляет, что его двигатель без отталкивания работает благодаря сложному свойству системы, которое он подтвердил с помощью электронной таблицы, мы с уверенностью можем сказать, что он допустил какую‑то ошибку.

На самом деле, как только мистер Л. начинает говорить о сложных шестернях и механизмах — ещё до того, как он упомянет таблицу, — мы уже теряем всякую надежду на него. Ответ на вопрос «Как вообще можно нарушить закон сохранения импульса?» не должен сводиться к размытому объяснению о сложных шестернях и механизмах. Поскольку с большой проблемой сталкивается каждая отдельная часть системы, покажите мне хотя бы одну любую ее часть, которая преодолевает эту проблему, чтобы продемонстрировать свою ключевую идею на самом простом примере.

Если есть счётная сумма слагаемых, которая, по моему мнению, равна нулю, поскольку я считаю, что все слагаемые по отдельности равны нулю, и вы хотите как можно быстрее доказать мне, что эта сумма не равна нулю, то развейте мой первоначальный скептицизм, показав мне хотя бы одно ненулевое слагаемое. Если же вы с самого начала начнёте рассказывать о том, как удивительно искусно вы упорядочили суммирование, чтобы его результат сразу все доказал, я сразу же потеряю всякую надежду.

Когда вы спрашиваете мистера Л.: «Почему закон сохранения импульса не исключает возможность создания вашего двигателя?», ваша единственная надежда заключается в том, что мистер Л. поймёт, о чём вы спрашиваете, — сможет поставить себя на место эксперта и понять, почему тот обычно считает это довольно сложной задачей; и что мистер Л. будет готов сразу же опровергнуть ваш скептицизм, ответив на ключевой вопрос: какой аспект всего этого предложения опровергает вполне естественное умозаключение о том, что невозможно построить неинерционный двигатель из инерционных деталей?

Даже если мы уже и так очень благосклонны к мистеру Л., у нас все равно не хватает надежды, чтобы продолжать следить за его рассуждениями, если он начнет рассказывать сложную историю с множеством шестеренок и колес.

Аргумент, опровергающий наличие трудностей, может оказаться несколько сложнее, чем исходный аргумент, утверждающий их наличие. Но прежде чем нам начнут рассказывать о сложных деталях придуманных мистером Л., хотелось бы услышать какую‑то ключевую идею, которая разожгла бы нашу крошечную искру надежды на то, что главная трудность преодолена.

А если мистер Л. вместо этого начнёт рассказывать нам о сложных колёсах и шестернях, мы поймём, что он не смог взглянуть на ситуацию с точки зрения скептически настроенного эксперта. Поэтому мы делаем вывод, что он, вероятно, не понимает сути проблемы. И тогда мы теряем эту крошечную искру надежды и уже не испытываем особого интереса ко всем его сложным подробностям.

Здесь я кратко упомяну событие, произошедшее в 2 026 году — хотя большая часть этой статьи была написана на пять лет раньше, в 2 021 году — а именно публичную дискуссию, которую я недавно провёл на конференции ILIAD с Джеффри Ирвингом (ранее работавшим в Google Brain, OpenAI и DeepMind, а ныне возглавляющим новую лабораторию Resolution), в рамках беседы, анонсированной как «Юдковский и Ирвинг пытаются — и терпят неудачу — урегулировать все свои разногласия за один час». Одна из длительных тем дискуссии была посвящена вопросу о том, являются ли «дебаты» перспективным подходом к супералайменту. Если просто поручить людям судить, пригоден ли искусственный интеллект для алаймента сверхинтеллекта, люди придут к неверному выводу; но что, если вместо этого множество искусственных интеллектов будут обсуждать этот вопрос между собой?

И одна из возможных проблем заключается в том, что отдельные искусственные интеллекты могут объединиться в рой и пожертвовать собой ради друг друга. Но есть и другая проблема: люди также могут неверно оценивать противоположные аргументы в ходе дискуссий, а не только отдельные утверждения.*

_{*) Или, если выразиться точнее: причина, по которой мы используем Научный Метод, а не Схоластический, заключается не в том, что ни один учёный никогда не приходит к правильному выводу без неопровержимых экспериментальных доказательств, а в том, что научное сообщество не может правильно определить, кто из учёных оказался прав — даже если кто‑то и был прав — без какого‑либо эксперимента, который буквально «вбивает» им в голову правильный ответ; и только после этого большинство иногда это замечает.}

_{Вот недавний пример: люди игнорируют исторические прецеденты, потому что их мозг считает, что история — это всего лишь телешоу, а их предшественники были глупее их самих и не знали о таких умных идеях, как рынки предсказаний: дело не в том, что никто не предупреждал специалистов по эффективной альтруистике (EA) о том, что ИИ может появиться раньше 2 050 года. Была статья, в которой заранее излагались все причины, по которым официально выглядящая оценка 2 050 года была неверной, и, как показало время, ~100% верно. Но попытки провести «дебаты», которые позволили бы определить этот правильный ответ, обоснованный вескими аргументами, оказались тщетными, поскольку даже получив правильный ответ, широкое сообщество не могло большинством голосов признать его верным, пока на него не обрушились неопровержимые доказательства обратного. OpenPhil провела конкурс с призовым фондом в 50 000 долларов за эссе, оспаривающие принятую на тот момент в OpenPhil оценку: средний срок появления AGI — 2 050 год, а риск катастрофы — 5%; и все призы были присуждены авторам эссе, в которых отстаивались более длительные сроки и меньшие риски.}

_{Если бы существовал какой‑то метод, позволяющий разбить дебаты на четкие части, которые группа судей всегда оценивала бы статистически объективно, то 2 022 год стал бы отличным моментом для его применения в конкурсе по оценке эссе! Но такого метода за всю историю человечества до сих пор никто не изобрел.}

_{Проблема, наблюдаемая на протяжении всей истории в связи со Схоластическим Методом, заключается не в том, что ни один человек недостаточно умен, чтобы прийти к правильному выводу без неопровержимых доказательств — ведь именно такие умные люди и являются источниками гипотез, которые впоследствии проверяются экспериментально! Проблема заключается в том, что большинство людей не способны определить, в каких из существующих аргументов использованы более обоснованные логические шаги и, следовательно, на основе ранее полученных данных был получен правильный ответ. Дело именно в неспособности человеческих сообществ адекватно оценивать дискуссии, а не в ограниченности индивидуального интеллекта людей, которые могли бы прийти к правильным ответам быстрее. Время от времени человечество рождает таких, как Эйнштейн, которые задолго до появления неопровержимых экспериментальных доказательств, способных убедить большинство, правильно скажут: «Тогда бы я пожалел самого Господа — теория верна». Но когда человечество в целом обращает взор на каких‑то очень сдержанных и торжественно выглядящих людей, одетых в одежду «серьёзных людей» той эпохи, эти сдержанно одетые люди не в состоянии определить, аргументы какого учёного верны. В этом и заключается проблема Схоластического Метода. Научный Метод, с другой стороны, пусть и в течение короткого, неустойчивого периода и лишь в нескольких институциональных кругах, сумел прислушаться к голосу неопровержимых экспериментальных доказательств, когда пришло время решать, кому из учёных следует отдать должное за то, что он оказался прав. (Хотя, чтобы было ясно, многие конкретные научные области, да и торжественно выглядящие люди в торжественной одежде, тоже не достигли этого уровня).}

_{Так что да, утверждение о том, что вы собираетесь провести нечто под названием «дебаты», и при этом ваши судьи‑люди всегда будут правильно определять, какой ИИ привёл более убедительные аргументы на каждом этапе дискуссии, — это явно провокационное заявление. Создание системы «дебатов», при которой Схоластический Метод начинает работать с участием судей‑людей, представляет собой «Проблему колокольчика».}

Один из вопросов, на котором я постоянно настаивал в разговоре с Ирвингом, звучал так: «Предположим, что человеческие эксперты пропускают некоторые некорректные шаги аргументации, причем это происходит со статистической корреляцией. Как в таком случае вы собираетесь получить достоверную аргументацию от всей системы в целом? Разве любой подход к получению достоверных ответов из системы с недостоверными компонентами не предполагает в какой‑то момент, что можно разбить дискуссию на этапы, на которых судьи просто демонстрируют высокую статистическую дисперсию в своих оценках, а не статистическую предвзятость? И разве это не противоречит практическому опыту с людьми?» Затем, уточнив этот вопрос, я спросил: «Предположим, что все ваши судьи — это случайные подбрасывания монеты. Это не сработало бы для получения правильных результатов в дебатах как средства супералаймента. Можете ли вы сказать мне, каким свойством должны обладать судьи — которого лишены случайные подбрасывания монеты и которое не сводится к тому, что „решения статистически несмещены“, — чтобы эта схема работала?» И Ирвинг ответил, что это хороший вопрос и что ему, возможно, понадобится вернуться к нему позже.

Позже несколько участников конференции отметили, что именно этот конкретный момент дискуссии их удивил и заставил переосмыслить ситуацию.

Не знаю, будет ли это вообще понятно читателям, особенно учитывая, что видео ещё не выложено в сети… но вопрос, который я задавал Ирвингу, с моей точки зрения, был почти точной аналогией попытки выявить ту часть «Вечного Двигателя», которая нарушает правила.

Из судей, которые по отдельности иногда ошибаются, можно создать точный механизм принятия решений, если только большинство или преобладающая часть всегда принимает правильное решение. Можно создать несмещенную оценку на основе судей с высокой дисперсией, не имеющих систематической ошибки. Но предположим, что большинство или преобладающая часть иногда ошибается, и не всегда есть какой‑то умный способ задать вопрос тремя разными способами так, чтобы два из трех вариантов были оценены правильно. Тогда как же вы создадите систему «дебатов», которая способна надежно выводить правильный ответ, опираясь на мнения ненадежных судей? Почему она не может, например, определить длину носа Императора Китая, опираясь на мнения судей, которые никогда не видели этого Императора?

Полагаю, вы заметили бы множество моментов, в которых участники конференции, стремящиеся к согласованию позиций, расходились во мнениях по другим вопросам — в зависимости от того, воспринимали ли они эту дискуссию как попытку с моей стороны заставить Ирвинга ответить на странный, абстрактный и узкотехнический вопрос, или же как попытку переформулировать, казалось бы, масштабную и сложную задачу, чтобы свести её к одной центральной трудности.

На самом деле, многие‑многие инженеры в прошлом засучивали рукава и приступали к созданию своих проектов «Вечных Двигателей». В эпоху Фейнмана это было весьма масштабным социальным явлением — одним из способов, которыми не очень умные инженеры сбивались с пути ещё до появления ИИ или криптовалют. И я не являюсь посткогнитивным телепатом — я не могу читать мысли людей из прошлого, — но я не удивился бы, если бы многие из тех инженеров 1970-х годов считали себя трезвомыслящими практиками с опытом работы в промышленности, чьи упорные усилия по изучению реальных металлических шестеренок научили их практическим ограничениям таких воздушных абстрактных теорий, как «сохранение энергии». Иными словами, они сами попробовали свои силы в абстракции, но ничего не добились и извлекли из этого урок «Высокомерия Смиренных» о предельных границах одного лишь мышления.*

_{*) Этот термин и тезис были введены Дунканом Сабиеном. Мне следует когда‑нибудь изложить их подробнее, но пока что, возможно, многие читатели, как и я, сразу же увидят в самой фразе «Высокомерие Смиренных» целую полезную идею.}

_{Примечание переводчика: концепция «высокомерия смиренных» (или высокомерия тех, кто прошел через преодоление / унижение) описывает парадоксальное состояние, когда человек, столкнувшийся с трудностями, поражением или получивший болезненный жизненный урок, вместо подлинной скромности приобретает жесткую, безапелляционную форму гордыни.}

Проблема колокольчика для кошки

Когда я был совсем маленьким, я прочитал одну детскую сказку и извлёк из неё урок, который остался со мной на всю жизнь, обобщаясь и углубляясь по мере того, как я взрослел. Думаю, возможно, это была более развёрнутая версия той истории, которую я читал в детстве, но в основе лежала басня Эзопа.

Вот полный текст оригинальной басни Эзопа:

Колокольчик для кошки

Однажды мыши созвали собрание, чтобы придумать план, как избавиться от своего врага — кошки. По крайней мере, они хотели найти способ узнать, когда она приближается, чтобы успеть убежать. Действительно, нужно было что‑то предпринять, ведь они жили в таком постоянном страхе перед её когтями, что не осмеливались вылезать из своих норок ни днём, ни ночью.

Обсуждалось много планов, но ни один из них не был признан достаточно хорошим. Наконец встал совсем маленький мышонок и сказал:

«У меня есть план, который кажется очень простым, но я знаю, что он принесет успех.

Нам нужно всего лишь повесить колокольчик на шею кошки. Как только мы услышим звон колокольчика, мы сразу поймем, что приближается наш враг».

Все мыши были очень удивлены, что раньше не додумались до такого плана. Но в разгар радости по поводу своей удачи одна старая мышь встала и сказала:

«Я скажу, что план этого мышонка очень хорош. Но позвольте мне задать один вопрос — кто же повесит колокольчик на шею кошки?»

Итак, первоначальная мораль басни Эзопа такова:

Одно дело — говорить, что что‑то нужно сделать, и совсем другое — сделать это.

На мой взгляд, из этой истории можно извлечь целую систему ценных моральных уроков. Первая ветвь морали Эзопа имеет множество ценных подветвей, например, в политике: «Одно дело — говорить, что ты хочешь X, и совсем другое — разработать стабильную реалистичную систему стимулов, которая приводит к X как к равновесному состоянию».

Но самый важный урок, который я извлек из этого и который остался со мной на всю жизнь, превратившись в «дерево уроков» и укоренившись всё глубже, заключался в следующем:

На пути к желаемому часто встречается какой‑то особенно сложный или казавшийся невозможным шаг, и пока ты не преодолеешь этот ключевой этап, остальная часть плана бесполезна.

Мы можем увидеть некоторые дальнейшие ветви на этом «дереве уроков», представленные на следующих изображениях, на обоих из которых показан пропущенный шаг с кошачьим колокольчиком, ставящий под сомнение весь план:

Или вот эта, ещё более известная:

Один из самых типичных вариантов ошибок, которые я наблюдал на протяжении многих лет, заключается в том, что люди «отскакивают» от этапа с «кошачьим колокольчиком», обходят его стороной или вовсе не замечают его.

Например:

Внимательно изучив чрезвычайно сложные чертежи, мы с отцом обнаружили «теплообменник», который должен был принимать тёплый фреон и холодный воздух и производить горячий фреон и холодный воздух. Естественно, этот теплообменник находился в ещё не построенной части.

Или, например (добавлено в 2 026 году), множество вариантов по следующему принципу:

Сначала мы создадим более способные ИИ [где мы сможем легко проверить, что их способности растут, и автоматически настроить внешние циклы оптимизации для увеличения этих способностей, а также получить кучу денег и славы], а затем мы будем использовать эти ИИ для выравнивания ИИ [где не существует (подвергаемого публичному контролю) предложения, позволяющего проверить, являются ли ответы более ранних ИИ честными или правильными].

С моей точки зрения это вполне сопоставимо с размещением «теплообменника» во второй половине машины; только в данном случае «Вечный Двигатель» не просто полностью отказывает, а, к сожалению, работает достаточно хорошо, чтобы поднять самолёт в воздух, но быть неспособным обеспечить его безопасную посадку.

(Я уточню, что никаких «подвергнутых публичному обсуждению» предложений не существует, потому что, зная о всех этих умственных уловках, связанных с «надеванием ошейников на кошек», я предполагаю, что в Anthropic считают, будто у них есть чрезвычайно серьёзные предложения по осуществлению чудес супералаймента, и у них есть чрезвычайно серьёзные причины, по которым они не могут никому, особенно мне, рассказать, в чём именно заключаются эти предложения. Несомненно, многие потенциальные создатели «Вечных Двигателей» на интуитивном уровне достаточно хорошо понимали реальное положение дел, чтобы придумать различные причины, по которым Фейнману нельзя было позволить ознакомиться с их секретными чертежами).

«Проклятие оптимизатора» сложных планов для решения сложных задач

Вы, наверное, помните проект L‑двигателя мистера Л. и его анимированную гифку (воспроизведённую по памяти):

Вы, наверное, помните, что когда мистеру Л. указали на недостаток в его конструкции L‑двигателя — а именно на то, что ускорение в верхней точке и замедление в нижней точно компенсируют центробежную силу — мистер Л. объяснил, что он разработал «компенсаторы», предотвращающие полную компенсацию, и именно в этом заключался настоящий коммерческий секрет его конструкции.

Мистер Л. не опубликовал свою таблицу, но разместил график, отражающий результаты расчёта результирующей силы, выполненные в этой таблице: в основном она равнялась нулю, но в некоторых местах принимала положительные значения. Вновь воспроизвожу по памяти:

Я не телепат, способный видеть прошлое. Но, исходя из моих знаний по психологии, можно с большой долей вероятности предположить, как развивались события: у мистера Л. возникла первая гениальная идея о вращающихся шарах в цилиндре, он начал предвкушать славу и богатство, но затем сам обнаружил в ней недостаток… и тогда, вместо того чтобы отказаться от своих надежд и мечтаний, отчаянно взялся исправлять этот недостаток… и изобретал всё более и более сложные «компенсаторы»… пока не остановился на конструкции, в которой ему удалось допустить несколько ошибок в расчётах в своей таблице Excel.

По моему опыту, это очень типичный способ, с помощью которого люди в конечном итоге убеждают себя, что решили какой‑то чрезвычайно сложный этап задачи — путем углубления и усложнения вопроса до такой степени, что они сами уже не могут предвидеть конечный провал. Это не срабатывает в случае обыденных насущных дел, таких как ремонт холодильника сегодня; но срабатывает со всем, что вы можете убедить себя, что касается будущего, или что, по вашему мнению, не было окончательно опровергнуто. Конечно, ваша странная схема отлично подойдет для выравнивания ASI — что, как ни удивительно, является ключевым этапом, который вы сейчас не можете протестировать; и о котором вы можете закрывать уши и напевать себе под нос, когда кто‑нибудь другой попытается объяснить, почему ваш план обречен на провал.

А если эти изобретатели будут так любезны, что вообще объяснят свою схему, то они начнут описывать какую‑то сложную систему, о всех подробностях которой я просто обязан услышать; но при этом они не дают и не могут дать вначале более простое объяснение, которое непосредственно было бы направлено на развенчание моего прежнего скептицизма по поводу «Проблемы Колокольчика».

Вот что происходит, если вы пытаетесь попросить кого‑то, чей уровень понимания ниже уровня Джеффри Ирвинга, объяснить, например, как они намерены использовать «дебаты» для преодоления проблемы взаимосвязанных ошибочных суждений. Их совершенно сбивает с толку ваше явное убеждение, что у них должно быть какое‑то простое объяснение ключевой идеи, позволяющей решить какую‑то странную проблему.

Это ещё один пример «проклятия Гудхарта», или вернее, «проклятия оптимизатора». Если вы пробуете большое количество сложных вариантов проекта, оцениваете их качество с помощью метода, допускающего ненулевую погрешность, и выбираете наиболее привлекательный вариант, то с большей вероятностью вы найдёте таблицу, в которой оценка качества завышена.

Чем сложнее кандидаты, тем больше эта систематическая погрешность.*

_{*) Конечно, этот аргумент сам по себе может чрезмерно часто использоваться в качестве непреложного довода против любой хоть немного сложной схемы, в том числе тех, ключевые идеи которых предполагают несколько уровней упрощения. Многие сторонники эффективного альтруизма, стремившиеся обрести душевное спокойствие от осознания того, что, покупая москитные сетки, они делают «самое лучшее дело», были бесконечно убеждены в том, что любые более сложные схемы улучшения положения человечества, такие как «принятие мер в отношении ИИ сверхчеловеческого уровня, прежде чем нас всех уничтожат», непременно содержат несостоятельный аргумент.}

Что не обязательно является фатальным, если у вас есть какой‑то процесс с очень низкой погрешностью, способный оценивать очень сложные вещи — именно поэтому не все ядерные реакторы со сложной конструкцией подверглись расплавлению. Но если вы занимаетесь чем‑то новым, неопределённым и подверженным ошибкам, то способность упростить сложные схемы до ключевых идей, позволяющих преодолеть основные трудности, гораздо важнее в качестве средства проверки мыслительного процесса.

Когда ни одна авторитетная инстанция (которую вы признаёте) не может сказать вам, что ваша гениальная идея неверна

Что касается закона сохранения импульса, то у нас есть авторитетные источники, которые утверждают, что проблема «кошачьего колокольчика» действительно существует и является сложной, и что у мистера Л. нет возможности решить её, просто добавив несколько запутывающих усложнений.

Но что, если мы, напротив, сталкиваемся с какой‑то проблемой, которая на самом деле чрезвычайно сложна — может быть, и не невозможна, как бестопливный двигатель, но всё же включает в себя какой‑то очень сложный этап, когда приходится «надеть ошейник на кошку», — но при этом вы не видите никого, кого можно было бы считать Авторитетным Экспертом, который бы сказал вам, что это сложно?

Что ж, в таком случае всё оказывается проще! На самом деле, конечно, не проще; это даже сложнее, потому что законы, определяющие степень сложности, не так хорошо известны. Но это кажется проще, потому что вам будет гораздо легче решить социальную проблему — убедить людей в том, что вы находитесь на пути к созданию бестопливного двигателя. И если вы похожи на большинство людей, то воспримите это как социальное подтверждение того, что ваши убеждения вполне оправданы.

Чтобы продолжить басню Эзопа с того места, на котором мы остановились, мой ум рождает следующее, наиболее естественное продолжение в виде фанфика*:

_{*) Если кто‑то из читателей потрясён моей дерзостью, с которой я осмелился продолжить то, что написал Эзоп, словно я сравниваю свои литературные способности с баснями, пережившими тысячелетия, то я напомню ему, что я официально признан одним из ведущих авторов фанфиков на всей планете, и поэтому попытка написать продолжение басни Эзопа не является проявлением высокомерия с моей стороны.}

«Кто же наденет колокольчик на кошку?» — спросила старая мышь.

И юный мышонок без колебаний ответил: «Мы соберём собрание мышей, чтобы определить, кто из нас конечно же лучше всего подходит для этой работы. Но, по‑моему, более важным аспектом моей стратегии является разработка умной конструкции колокольчика, который будет всегда надежно звенеть при любом угле наклона, даже если кошка хитро лежит на спине и толкает себя вперёд, так что колокольчик висит вверх ногами…»

«Меня никогда не пугало, что именно это станет самой сложной частью проблемы, — сказала старая мышь, — найти надёжный колокольчик, который можно было бы повесить на кота. Конечно, непродуманный план может провалиться даже на этом этапе, но это кажется сравнительно простой задачей, если решить остальные вопросы. Меня скорее беспокоит то, что ни у кого из нас, ни у одной мыши, которую мы могли бы назначить, не хватит смелости повесить колокольчик на шею коту. Поэтому утверждение о том, что „собрание мышей“ соберётся, чтобы выбрать одну мышь для выполнения этой задачи, не снимает моих опасений. Разве что вы приведёте мне хотя бы один пример мыши, которая справится с этой задачей, — тогда я поверю, что „собрание“ сможет выбрать либо эту мышь, либо кого‑то более подходящего».

«Мне грустно, что вы, похоже, не проявляете особого интереса или любопытства к моим идеям, — сказал молодой мышонок. — Мне это кажется странным, ведь вы же утверждаете, что придаете такое большое значение защите наших жизней от кошки. Возможно, в моем „Плане спасения от кошки“ ещё остались некоторые детали, над которыми нужно поработать, но вы, похоже, не интересуетесь тем прогрессом, которого мы уже достигли…»

«С моей точки зрения, — сказала старая мышь, — мы ничуть не ближе к тому, чтобы избежать гибели от кошки, чем в тот момент, когда мы собрались на это совещание».

«Но вы не уделили должного внимания моему плану! — сказал молодой мышонок, — и не дослушали моё объяснение того, как он поможет нам справиться с кошкой с колокольчиком. Итак, первый шаг, как я уже говорил, — это достать подходящий колокольчик. Второй шаг — прикрепить его к ремешку. Третий шаг — покрыть этот ремешок светящейся в темноте краской…»

«Пожалуйста, пойми меня, — сказала старая мышь, — я долго живу на свете и мне уже и раньше встречались предложения о том, как прикрепить что‑то к кошкам, и постарайся быстро объяснить мне, почему мой скептицизм необоснован. Шея кошки находится высоко над землёй, выше, чем может дотянуться любая мышь. Даже если бы мышь и дотянулась так высоко, ей понадобилось бы время, чтобы надеть ошейник с колокольчиком на шею кошки — скажем, пять секунд, — а это, по‑видимому, само по себе требует, чтобы мышь находилась в непосредственной близости от кошки. Между тем кошка убивает любую мышь, которая приблизится к ней в течение половины секунды. Это не небольшая разница — это разница на порядок. Вместо того чтобы описывать все этапы вашего плана по порядку, не мог бы ты попробовать объяснить, какой ключевой шаг — будь то светящаяся в темноте краска или что‑то другое — опровергает аргументы, лежащие в основе сомнения, который я только что изложил?»

«Ну, я думаю, будет разумнее объяснить весь мой план по порядку, — сказал молодой мышонок. — Но раз уж вы спросили: светящаяся в темноте краска действительно развеивает ваши сомнения — это значит, что даже если кот научится ходить настолько бесшумно, что не заденет колокольчик, мы всё равно сможем увидеть его приближение по свечению его ошейника. По крайней мере, ночью, но если это единственный способ для нас выжить, нам придётся передвигаться только ночью».

«Похоже, ты не понял, на что я обращаю твое внимание как на главную проблему, — сказала старая мышь, — и не осознал, что означало бы привести четко сформулированный аргумент, прямо направленный против моих сомнений».

Молодой мышонок печально покачал головой — «Похоже, вас интересует обсуждение только той стороны вопроса, которая интересует именно вас, а обсуждать аспекты, которые интересуют меня, вы не готовы. Полагаю, это типичная для вашего возраста недальновидность и негибкость».

«Остальные этапы твоего „Плана спасения от кошки“ бесполезны, если не удастся преодолеть эту главную трудность», — сказала старая мышь. «Возможно, есть и другие сложные этапы, но это не отменяет того факта, что их решение будет бесполезным, если не решить именно этот. Этапы, на которых ты до сих пор сосредотачивался, мне кажутся довольно простыми по сравнению с остальными; в них чувствуется некая тривиальность, бессмысленность; словно ум уклоняется от более сложных аспектов проблемы, переключаясь на менее значимые моменты, о которых думать кажется проще и приятнее…»

«Я месяцами трудился над составлением предложения по закупке и нанесению светящейся в темноте краски!» — прервал возмущённо молодой мышонок. «И опубликовал его в журнале „О чём говорят мыши“! И после всей этой работы вы говорите, что я не добился ничего стоящего? Моя стратегия и замысел сложны, вам следует понять, что нужно выслушать весь план, чтобы судить, применимо ли к нему ваше утверждение о том, что на кота невозможно надеть ошейник!»

«Не исключено, — сказала старая мышь, — что может существовать некая сложная стратегия, данная нам свыше, и только изучив весь план, мы сможем понять, как именно она позволяет избежать необходимости надеть ошейник на шею кошке. Но кажется маловероятным, что какая‑либо мышь смогла бы успешно придумать такой план, каким бы сложным он ни был, не имея более лаконичного понимания того, как преодолеть ключевую трудность. То, что ты не можешь объяснить мне эту ключевую мысль и, более того, не можешь понять, почему я хочу её услышать, — вот почему я потерял надежду на то, что ты добился какого‑либо значимого прогресса, о котором говоришь».

«Я же вам всё время говорю!» — воскликнул юный мышонок, — главное заключается в том, что нужно достать колокольчик, который звенит при любом наклоне, даже если его перевернуть вверх ногами; затем, прикрепив колокольчик к ремешку, нужно покрасить его краской, светящейся в темноте; после этого нужно созвать собрание мышей, чтобы решить, кто из мышей прикрепит колокольчик к кошке; затем нужно назначить группу мышей, которая будет следить за кошкой с колокольчиком и проверять, прочно ли держится ошейник…«

Но старая Мышь, даже понимая, что это невежливо, отвернулась от молодого мышонка и погрузилась в свои мысли, которые вновь вернулись к вопросу: возможно ли прикрепить колокольчик к кошке, пока она спит. На этом этапе было еще немало других сложностей, ведь никто не знал, где спит кошка, да и спит ли она вообще. Частная задача — определить, где спит кошка, — могла и не иметь осуществимого решения, даже если она и была решаемой; могло оказаться, что кошка спит где‑то, куда ни одна мышь не может добраться. Кроме того, возникала ещё дополнительная проблема: сможет ли какая‑нибудь мышь провести операцию по надеванию колокольчика достаточно незаметно, чтобы не разбудить кота. Но, по крайней мере, этот общий подход, казалось, прямо нацеливался на сложные аспекты главной проблемы — высоко поднятую голову и стремительную, смертоносную скорость кошки — спящая кошка, если бы она спала так же, как мыши, могла бы опустить голову и на время замереть. Новые подзадачи не сводились просто к тому, что „Кошка слишком высокая и слишком быстрая, чтобы кто‑либо из нас смог надеть на неё колокольчик“, и это делало данный подход интересным для изучения; эта новая линия рассуждений могла привести к новым открытиям, даже если она и не давала прямого решения.

Тем временем большинство остальных мышей собрались вокруг нового авторитета и с завороженными выражениями лиц слушали, как юный мышонок подробно рассказывает о поисках поставщиков светящейся в темноте краски. Оказалось, что поставщиков, готовых продавать ее по цене, доступной мышам, было удивительно мало — хотя они все‑таки существовали; это была действительно интересная задача, в решении которой уже был достигнут впечатляющий прогресс, и это был совершенно новый подход, о котором никто из них раньше не задумывался! Ведь эта задача создавала новую проблему, совершенно не похожую на ту, о которой постоянно твердила скучная старая мышь; и молодые мыши не могли понять, как сила и ловкость кошки помешают им купить светящуюся в темноте краску, так что казалось, эта новая проблема обещала гораздо больше шансов на решение. Было трудно уследить за всеми этапами плана, поскольку план был очень продуманным и изощрённым; но молодые мыши не видели, как он мог бы провалиться.»

Совет, противоположный предыдущему

На каждый совет найдется равный по силе и противоположный совет, который нужно давать равным по силе оппонентам с противоположными мнениями. На каждое эссе приходится длинный список предупреждающих примечаний, которые, как я обычно понимаю задним числом, мне не удалось правильно предугадать заранее. Тем не менее, вот моя версия предупреждающего примечания, которое должно быть здесь отмечено:

Можно несправедливо требовать, чтобы аргумент был слишком простым.

Ярким примером здесь, пожалуй, может служить «обезьяний процесс» Скоупса. Можно представить, как сторона обвинения снова и снова требует объяснить, в какой момент обезьяна рождает существо, не являющееся обезьяной, а если кто‑то пытается сказать что‑то о совокупности множества мелких дискретных изменений, сторона обвинения отвечает: «О, это похоже на одну из тех больших сложных идей, в которых уже никто не может разглядеть, в чём именно заключается ошибка; пожалуйста, сведите это к сути, покажите мне один момент, когда обезьяна рождает существо, не являющееся обезьяной».

Возможно, есть некоторая надежда на то, что подлинное озарение в какой‑то момент поможет решить проблему «колокольчика для кошки», но это возможно только в том случае, если вы искренне пытаетесь понять её, а не занимаете скрестив руки скептическую позицию, говоря: «Убедите меня! Нет, не так, а именно так, как я ожидаю, что меня убедят!»

Приведённый мной в начале пример с бестопливным двигателем мистера Л. — это случай, когда мы точно знаем, что неинерционный двигатель должен содержать хотя бы одну неинерционную деталь, что совершенно несовместимо с известными законами физики; в понимании которых, мы практически уверены, мистер Л. по сути допускает ошибку. В других случаях этапы надевания колокольчика на кошку могут быть просто сложными, но не невозможными; возможно, даже существуют какие‑то решения, которые полностью развязывают узел и устраняют эти сложности.

Люди из списка рассылки, которые спрашивали мистера Л. о том, как работает его двигатель, — с моей точки зрения — вероятно, были слишком непредвзятыми и слишком готовыми выслушать. Но только будучи действительно готовым выслушать точный ответ, можно услышать решение проблемы, которую вы полагаете «Проблемой колокольчика», при условии, что у кого‑то действительно есть такое решение. Ричард Фейнман не поступал глупо, следуя чему‑то вроде деонтологического правила, предписывающего проверять всё каждый раз.

Остальная часть этого поста, которую я бросил писать

Остальная часть этого черновика, написанного в 2 021 году, представляла собой мою попытку перечислить некоторые «проблемы категории B» в области искусственного интеллекта, а также объяснить, что именно придало им статус серьезной проблемы, а не второстепенной технической сложности.

Столкнувшись с некоторыми трудностями при попытке подойти к этой части с разных ракурсов, я сдался и просто опубликовал свой черновой список пунктов без какого‑либо вступления или подробных комментариев.