Последние несколько дней смотрю, что происходит вокруг OpenAI, и есть во всём этом один моментик, который меня немного напрягает.

Не потому, что вышла очередная мощная модель — к этому уже привыкли. А потому, что люди, которые последние годы эту гонку разгоняли, вдруг сами начали говорить, что неплохо было бы притормозить.

3 сентября OpenAI выпустила GPT-6 Astra. Модель мощная, бенчмарков много — всё как обычно. Но меня больше зацепила одна строчка из материалов самой OpenAI.

Astra стала первой моделью компании, которой присвоили уровень Critical по возможностям в кибербезопасности в рамках Preparedness Framework.

Если убрать сложные формулировки, смысл примерно такой: при наличии нужных инструментов и доступа модель уже способна искать неизвестные уязвимости и разрабатывать способы их эксплуатации. Причём человеку не обязательно вести её за руку и говорить, что делать на каждом следующем шаге — достаточно указать стартовое направление.

OpenAI пишет, что из‑за этого отдельные этапы разработки даже замедляли, пока усиливали защиту.

Проходит чуть больше недели, и руководители крупнейших AI‑компаний начинают обсуждать уже не то, как быстрее сделать следующую модель, а как эту гонку немного замедлить. Дарио Амодеи говорит, что возможности моделей растут быстрее, чем системы безопасности. Маск поддерживает идею ограничений. Альтман тоже говорит о необходимости координации между лабораториями.

Параллельно OpenAI откладывает IPO, а разговоры про замедление AI‑гонки уже умудрились пошатать акции компаний, связанных с ИИ. Получается немного странная картина. Несколько лет все давили на газ, а теперь люди, которые сидят за рулём, первыми говорят, что впереди, кажется, поворот.

Мне кажется, проблема даже не в том, что ИИ стал умнее

Мы почему‑то постоянно обсуждаем именно интеллект моделей: сколько набрала на бенчмарке, как пишет код, решает ли олимпиадные задачи, насколько лучше предыдущей версии.

Но за последние пару лет произошло другое изменение, которое мне кажется намного важнее. Раньше схема была простой. Ты задаёшь ChatGPT вопрос, он что‑то отвечает, ты читаешь и уже потом сам решаешь, что с этим делать. То есть между моделью и реальным действием всегда стоял человек. Даже если нейронка уверенно написала полную ерунду, максимум, что произошло, — на экране появилась ерунда.

А с новыми моделями ты сразу говоришь, что хочешь получить в итоге. Дальше агент сам разбивает задачу на шаги, ищет информацию, открывает файлы, пишет код, запускает инструменты, смотрит, что получилось, и, если не получилось, пробует ещё раз. И вот тут человек постепенно исчезает из середины этой цепочки. Это удобно. Собственно, ради этого агентов и делают. Но тогда появляется другой вопрос.

А если он ошибся не на последнем шаге, а на первом?

Допустим, агент неправильно понял исходную задачу или кто‑то неверно её трактовал. После этого он сделал ещё двадцать вполне логичных действий, исходя из неправильной предпосылки. Каждое следующее действие может быть абсолютно правильным. Проблема только в том, что вся цепочка идёт не туда, а человек в это время вообще может не смотреть, что происходит. И мне кажется, вот это уже гораздо интереснее разговоров о том, есть ли у ИИ сознание.

Мы всё время пытались убрать человека из процесса

Это вообще забавно. Последние годы человеческий фактор воспринимался скорее как недостаток нейронки.

ИИ написал код, но разработчик должен проверить. Ну, значит, пока не дорос. Агент подготовил платёж, но человек должен нажать подтверждение. Значит, автоматизация не полная. ИИ обработал документы, но сотрудник проверяет результат. Опять человек нужен.

И конечная точка развития вроде бы очевидная: дать системе задачу и получить готовый результат, вообще не вмешиваясь в процесс.

Я сам долго примерно так на это и смотрел, а сейчас уже не уверен, что это правильная конечная точка. Может быть, человек в определённых местах процесса — это вообще не костыль. Может быть, так и должно быть.

ИИ может просто прочитать почту. А может прочитать и дать обратку автоматом без вашего ведома. Может найти уязвимость. А должен ли он попробовать её эксплуатировать? Может написать код, протестировать и убедиться, что всё работает. А нужно ли, чтобы он самостоятельно заливал его в прод? И чем умнее становятся модели, тем страннее получается ситуация.

Чем больше агент умеет, тем важнее становится не то, что ему разрешили делать, а то, где ему запретили продолжать без человека.

Конечно же, логично, что на этом месте вспоминается сценарий «Терминатора»

Причём не в смысле «всё, Скайнет уже завтра». До этого нам ещё очень далеко, если такой сценарий вообще возможен. Но сам сюжет я вдруг увидел немного с другой стороны.

Мы обычно помним его примерно так: создали искусственный интеллект, он обрёл сознание, решил, что люди представляют угрозу, запустил ракеты. Дальше дела Шварценеггерские. И поэтому, когда кто‑то сравнивает современные нейросети со Скайнетом, это звучит немного смешно.

ChatGPT не ненавидит людей. Ему не страшно умереть. Он не хочет захватывать мир. Да и вообще вопрос, есть ли там хоть какое‑то «хочет», пока больше философский, чем технический. Но если вспомнить саму историю, там ведь была ещё одна важная деталь. Люди передали Skynet управление системами, потому что машина могла принимать решения быстрее человека. А когда попытались вернуть контроль, было уже поздно.

И вот эта часть истории сегодня почему‑то выглядит уже не настолько фантастической. Для проблем вообще не обязательно, чтобы ИИ стал злым. И даже сознание ему для этого не особо нужно.

Представим гораздо более скучный сценарий. Есть очень мощная система. У неё есть цель. Есть доступ к инструментам. Она умеет самостоятельно планировать следующие действия. И в самом начале она неправильно поняла, что от неё хотят. Всё. Дальше она может совершенно добросовестно и очень эффективно делать не то. Причём гораздо быстрее человека.

Наверное, именно скорость здесь начинает играть против нас. Пока нейронка просто отвечает текстом, человек успевает посмотреть на ответ и сказать: «Что за бред?»

Когда агент за это же время успевает выполнить двадцать действий, такой возможности уже может не быть.

И получается довольно забавный парадокс. Несколько лет мы пытались сделать ИИ, которому можно сказать: «Вот задача. Дальше разбирайся сам».

А теперь, похоже, придётся учиться делать ИИ, которому можно сказать: «Вот задача. Разбирайся сам. Но вот здесь остановись и обязательно спроси меня».

Может быть, настоящий рубеж развития AI‑агентов вообще не полная автономность, а способность системы понимать момент, когда автономность должна закончиться. И если уж совсем возвращаться к «Терминатору», то человечество там проиграло, возможно, не тогда, когда Skynet стала разумной, а немного раньше — когда люди решили, что она уже достаточно умная, чтобы больше за ней не смотреть. Очень не хотелось бы когда‑нибудь выяснить, что именно эта часть фильма оказалась самой реалистичной.