Не так давно группа лауретов премии Филдса (математический анализ Нобелевской премии) написали открытое обращение по поводу опасности решений математических задач, генерируемых ИИ.

Судя по комментариям к этой новости, многие ее поняли превратно — типа маститые математики опасаются конкуренции, и что их заменят роботы. Хотя подобные страхи имеют место быть, однако основное опасение не в этом. Решения от ИИ являются ущербными с точки зрения математиков... но почему?

Данная статья на самом деле вдохновлена двумя произведениями, прочитанными в детстве. Одно из них фантастическое, другое научно‑популярное. Что же, давайте рассмотрим их по порядку...

Мешок

Рассказ был написан Уильямом Моррисоном еще в 1950 году, за семьдесят лет до появления LLM. На русский был переведен в 1959. Кстати, авторы перевода не безвестные надмозги, а сами братья Стругацкие (!)

Суть в том, что в рамках космической экспедиции экипаж обнаружил странное существо, которое по форме напоминало мешок (потому оно и стало называться Мешком). Это древнее создание могло ответить на любой вопрос (с оговорками). Что вроде бы резко ускорило научный прогресс. Однако сам Мешок был другого мнения по этому поводу:

— Это часть ответа — сказать, что вопрос важен. Ваши правители видят во мне ценную собственность. Им следовало бы спросить, так ли велика моя ценность, как это кажется. Им следовало бы спросить, что приносят мои ответы — пользу или вред. — А что они приносят? — Вред, огромный вред. Зиблинг был поражен. Он сказал: — Но если ваши ответы правдивы... — Процесс достижения истины так же драгоценен, как и сама истина. Я лишил вас этого. Я даю вашим ученым истину, но не всю, ибо они не знают, как достигнуть ее без моей помощи. Было бы лучше, если б они познавали ее ценой многих ошибок. — Я не согласен с вами. — Ученый спрашивает меня, что происходит в живой клетке, и я говорю ему. Но если бы он исследовал клетку самостоятельно — пусть ценою затраты многих лет, он пришел бы к финишу не только с этим знанием, но и множеством других, со знанием вещей, о которых он сейчас даже не подозревает, а они тесно связаны с его наукой. Он получил бы много новых методов исследования. — Но ведь в некоторых случаях знание полезно само по себе. Например, я слышал, что уже используется предложенный вами дешевый процесс производства урана на Марсе. Что в этом вредного? — А вам известно, сколько имеется необходимого сырья? Ваши ученые не продумали этого вопроса, они растранжирят все сырье и слишком поздно поймут, что они наделали. У вас ведь уже было так на Земле. Вы узнали, каким образом можно дешево перерабатывать воду; вы тратили воду безрассудно, и вскоре вам перестало ее хватать.

Извините за длинные цитаты, но они впечатляют своей прозорливостью будущего. Кстати, потеря рабочих мест из‑за AI тут тоже есть:

К концу года Зиблинг убедился в правильности предсказаний Мешка относительно бедствий, грозящих человечеству. Впервые за столетие число ученых‑исследователей не увеличилось, а уменьшилось. Знания Мешка сделали целый ряд исследований ненужными и уничтожили закономерную последовательность открытий. Мешок прокомментировал этот факт Зиблингу. Зиблинг кивнул: — Я вижу. Человечество теряет независимость. — Да, и я из верного его раба превращаюсь в его же хозяина. А я ведь хочу быть хозяином не больше, чем рабом.

Т.е. ответы от LLM или решения задач (как той же задачи Навье‑Стокса) могут быть корректны сами по себе (хотя для решения от OpenAI независимой проверки и подтверждения от математического сообщества еще не было). Но они могут быть неполноценными, поскольку не дают никакого понимания.

Для понимания того, что такое отсутствие понимания, стоит ознакомиться с двумя доказательствами — гипотеза о четырех красках и Великая теорема Ферма.

Эндрю Уайлс против машин

Есть отличная книга журналиста Саймона Сингха «Великая теорема Ферма». Она посвящена не только тому, как доказали теорему Ферма. Отдельная глава посвящена сравнению этого доказательства с тем, что получено машинным способом под интригующим подразделом «Доказательства на чипах».

Прежде чем говорить о доказательствах, где компьютер выступает не просто ассистентом, а движущей силой (попросту говоря — без него решить это было бы нельзя, а проверить его доказательства у человека попросту не хватит сил) нужно заметить, что без всяких компьютеров и LLM в математике уже давно имеются доказательства, которые вообще никто не понимает, потому что это выше сил человеческих:

Еще более ярким примером может служить так называемое доказательство классификации конечных простых групп, состоящее из 500 отдельных работ, написанных более чем сотней математиков. Говорят, что полностью разобрался в этом доказательстве (общим объемом в 15 000 страниц) один‑единственный человек на свете — скончавшийся в 1992 году Дэниэл Горенстейн. Тем не менее, математическое сообщество в целом могло быть спокойным: каждый фрагмент доказательства был изучен группой специалистов, и каждая строка из 15 000 страниц была десятки раз проверена и перепроверена.

Кстати, касательно самого доказательства теоремы Ферма — в мире очень мало людей, которые вообще способны его понять:

В случае доказательства Великой теоремы Ферма, представленного Уайлсом, менее 10% специалистов по теории чисел полностью понимали его рассуждения, но все 100% сочли, что доказательство правильное. Те, кто не смог до конца понять все тонкости доказательства, приняли его потому, что доказательство признали другие‑те, кто все понял, шаг за шагом проследил весь ход доказательства и проверил каждую деталь.

Как видим, в математике существует порог доверия, в стиле «Миллионы мух небольшой процент специалистов по теории чисел не могут ошибаться». Есть огромное количество задач в математике, про которые большинство людей могут лишь сказать, что доказательство существует, но это решение понимают лишь единицы.

Компьютеры привели к появлению нового типа задач (хотя сами эти задачи существовали до компьютеров) — те, где только компьютер и может найти решение, и понять его (или найти в нем ошибку) человек уже просто не может. Ни один человек, ни маститый коллектив. Самый яркий пример — задача о четырех красках. Ее формулировка на удивление проста, однако на протяжении века она не поддавалась усилиям математиков. Пока в 1976 году два математика не свели ее к базовому набору из 1482 конфигураций. Понятно, что перебрать их все была очень трудоемкая задача. Поэтому Хакен и Аппель поручили ее компьютеру. Далее началось нечто интересное:

Когда мы дошли до этого пункта, программа начала удивлять нас. Первое время мы проверяли от руки все ее вычисления и могли всегда предсказать, как она будет работать в любой ситуации; но теперь она неожиданно повела себя, как шахматная машина. Программа стала выдавать составные стратегии, используя всевозможные трюки, которым она «научилась», и часто предлагаемые программой подходы оказывались более умными, чем те, которые могли предложить мы сами. Так программа стала учить нас, как действовать, чего мы от нее никак не ожидали. В каком‑то смысле программа превзошла нас, ее создателей, не только в механической, но и в «интеллектуальной» части работы

В общем, проверив все 1482 набора, было объявлено, что они все удовлетворяют гипотезе о четырех красках, а любая другая карта может быть сведена к одной из карт этого набора. Такое доказательство не вдохновило математическое сообщество. Во‑первых, встал вопрос о проверке доказательства:

Проблема четырех красок Гатри была наконец решена. Следует особенно подчеркнуть, что решение проблемы четырех красок стало первым математическим доказательством, в котором роль компьютера не сводилась к ускорению вычислений, — компьютер привнес в решение проблемы нечто гораздо большее: его роль была столь значительной, что без компьютера получить доказательство было бы невозможно. Решение проблемы четырех красок с помощью компьютера было выдающимся достижением, но в то же время оно вызвало у математического сообщества чувство тревоги, так как проверка доказательства в традиционном смысле не представлялась возможной.

Прежде, чем опубликовать решение Хакена и Аппеля на страницах «Illinois Journal of Mathematics», редакторам было необходимо подвергнуть его тщательному рецензированию в каком‑то не известном ранее смысле. Традиционное рецензирование было невозможно, поэтому было решено ввести программу Хакена и Аппеля в независимый компьютер с тем, чтобы убедиться, что результат останется тем же.

Проблема была, однако, не только в том, что проверить доказательство, выданное машиной, было нельзя без использования других машин. Еще одной проблемой являлось то, что доказательство, по сути, не давало никаких новых знаний. В этом главное отличие от доказательства Уайлса:

За восемь лет упорнейшего труда Уайлс, по существу, свел воедино все достижения теории чисел XX века, выстроив из них одно сверхмощное доказательство. Преследуя свою главную цель, Уайлс попутно создавал совершенно новые доказательства и использовал их в немыслимых ранее сочетаниях с традиционными методами.

Этим Уайлс открыл новые направления для атак на множество других проблем. По словам Кена Рибета, доказательство Уайлса представляет собой идеальный синтез современной математики и служит источником вдохновения на будущее: «Я думаю, что если бы вы оказались на необитаемом острове и захватили с собой только рукопись с доказательством Уайлса, то у вас было бы предостаточно пищи для размышлений. Перед вами предстали бы все течения современной мысли в области теории чисел. На одной странице вы встретите краткое упоминание о фундаментальной теореме Делиня, на другой найдете несколько неожиданную ссылку на теорему Хеллегуарка — и все это вводится в игру и используется с тем, чтобы через мгновенье уступить место следующей идее».

Именно поэтому математики восприняли в штыки доказательство задачи о четырех красках — оно полностью вписывалось в концепцию рассказа про Мешок:

Специалист в области «computer science» Эдвард Френкин даже заявил, что когда‑нибудь компьютер найдет решение какой‑нибудь важной проблемы без помощи математиков. Десять лет назад Френкин учредил премию Лейбница размером в 100 000 долларов. Премия будет присуждена первой компьютерной программе, способной сформулировать и доказать теорему, которая окажет «глубокое влияние на развитие математики». Будет ли когда‑нибудь присуждена премия Лейбница — вопрос спорный, но одно можно сказать со всей определенностью: компьютерной программе всегда будет недоставать прозрачности традиционных доказательств, и в сравнении с ними она будет проигрывать, уступая им в глубине. Математическое доказательство должно не только давать ответ на поставленный вопрос, но и способствовать пониманию, почему ответ именно таков, каков он есть, и в чем именно состоит его суть. Задавая вопрос на входе в черный ящик и получая ответ на выходе из него, мы увеличиваем знание, но не понимание. Из представленного Уайлсом доказательства Великой теоремы Ферма мы узнали, что уравнение Ферма не допускает решений в целых числах потому, что любое такое решение привело бы к противоречию с гипотезой Таниямы‑Шимуры. Уайлс не только ответил на вызов Ферма, но и обосновал свой ответ, указав, что он должен быть именно таким, а не другим, чтобы не нарушить фундаментальное соответствие между эллиптическими кривыми и модулярными формами.

Математик Рональд Грэхем описывает недостаточную глубину компьютерных доказательств на примере одной из великих не доказанных по сей день гипотез — гипотезы Римана: «Я был бы весьма и весьма разочарован, если бы можно было подключиться к компьютеру, спросить у него, верна ли гипотеза Римана, и получить в ответ: „Да, верна, но Вы не сможете понять доказательство“». Математик Филип Дэвис, похожим образом отреагировал на решение проблемы четырех красок: «Моей первой реакцией было: „Потрясающе! Как им удалось решить эту проблему?“. Я ожидал какой‑то блестящей новой идеи, красота которой перевернула бы всю мою жизнь. Но когда я услышал в ответ: „Они решили проблему, перебрав тысячи случаев и пропустив все варианты один за другим через компьютер“, — меня охватило глубочайшее уныние. Я подумал: „Значит, все сводилось к простому перебору, и проблема четырех красок вовсе не заслуживала названия хорошей проблемы“».

Раз уж речь идет сейчас о том, решили ли в OpenAI одну из задач тысячелетия, стоит вспомнить, что другую задачу (гипотезу Пуанкаре) Григорий Перельман решил именно в стиле Уайлса — выведя формулу энтропии для потока Риччи. Т.е. Перельман не просто ответил на вопрос «Да или нет?», он предложил новые методы для анализа таких потоков, а заодно как бы промежду делом доказал гипотезу Пуанкаре. Точнее, его работу пришлось потом долго разбирать на протяжение нескольких лет различным авторам, чтобы понять, так сказать, «всю глубину наших глубин».

Итоги

Сам факт того, что ИИ смог решить одну из задач тысячелетия (но мы пока не знаем этого наверняка) — является весьма знатной вехой в развитии компьютерных технологий, однако показывает любопытную вещь — недостаточно просто ответить на вопрос в задаче, нужно еще и обосновать (причем под обоснованием здесь понимается не просто цепочка логических рассуждений доказательства, как в школьных задачах по геометрии). Внести понимание. Простой ответ «Да» не способствует научному прогрессу по большому счету.

Кстати, это верно и для обычной работы с LLM — если программист тупо вводит промпт в модель и копипастит ответы в свою кодовую базу, без попытки понимания, что ему вообще выдали, он рискует деградировать — настолько, что это можно увидеть даже на ЭЭГ в мозгу.