На русском языке вышла написанная в 2025 книга-предупреждение о катастрофических последствиях развития все более умного ИИ.
Основной темой служит проблема согласованности и прогноз апокалиптической опасности на ближайшие несколько лет.
TL DR: Автор считает, что как только появится ИИ уровня исследователя, он создаст сверхразумный ИИ, а тот найдет способ сконструировать наномолекулярные фабрики на основе "технологий" которые применяются в биологических клетках, которые бы отличались от них настолько, насколько самолет отличается от птицы, и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу. Допускается любой другой сценарий, но если в результате него мы умрем это будет плохо, пнятненько?
Автор - известный исследователь в этой области Элиезер Юдковский, а также Нейт Соарес. Не могу точно ничего сказать о научных работах и плодах деятельности Юдковского (хотя он по крайней мере основатель сообщества LessWrong и автор нескольких научных статей), но для меня это всегда был талантливый писатель, чьи произведения оказали на меня существенное влияние.
Но с некоторых пор я стал слышать и другое мнение. Многие называют этого человека инфоциганом и паникером.
Я и сам несколько подустал от наполненных паникой заявлений, которые этот человек делает по крайней мере с 2020 года.
Я купил эту книгу с намерением снять о ней смешной обзор на ютубе. Такую книгу и саму постановку проблемы хочется высмеять. Чего только стоит цитата на третьей сначала странице:
"В 2000 году Юдковский попытался создать машинный сверхинтеллект. В 2001-м году он осознал, что тот не обязательно окажется дружественным. А в 2003-м он понял, что эта проблема сложна". Ей богу, надеюсь, это просто корявый перевод, а не автор так описал свою продуктивность.
На заднем обороте нас встречают рецензии от, по-видимому, самых авторитетных критиков, к которым можно было обратиться за рекомендацией по вопросам ИИ: пара международных СМИ, а также актеры Стивен Фрай и Марк Раффало. Возможно, все остальные были заняты - делали ИИ.
Открывая книгу, я держал в голове все те вещи, что мы знаем про LLM - что они не умеют думать в том смысле, что мы, что они постоянно ошибаются, галлюцинируют и вообще их предназначение - не думать или решать а просто ставить одну букву впереди другой.
Я отмечал цветными стикерами все места, которые позже планировал использовать как шутки.
Автор книги на полную использует свой потенциал романиста - придумывает красочные метафоры и притчи для пояснения идей очередной главы, и в целом старательно воздействует на эмоции читателя, а не только подбирает рациональные аргументы.
Поначалу многие вещи в целях легкости повествания совсем упрощены - в первых главах применяется слово "рассуждать" по отношению к LLM. Фраза "Способность модели к общим рассуждениям в каком-то смысле не дотягивает до человеческих стандартов" звучит нелепо - потому что она не не дотягивает, там бездна.
Но у автора есть соображение на этот счет. Не важно, что проиходит в "мозгу" ИИ и назовем ли мы это мышлением. "Управление" - это поиск действий, которые приводят вас к определенному результату - и именно этому человечество активно учит LLM.
Юдковский планомерно доносит свою точку зрения на проблему - рассказывает подробнее обо всем, что имеет значение. Основы работы LLM, преимущества которые у них есть по сравнению с людьми.
К этому правда добавляется ряд панических заголовков 2023-2025 годов, большинство из которых можно описать фразой "ШОК! Нейросеть сБеЖаЛа из лаборатории" или "LLM шантажирует ученого" и которые почти наверняка были изначально предназначены для пиара ИИ-стартапов. А также несколько случаев пугающих галлюцинаций от LLM.
Тем не менее, авторы используют эти случаи как иллюстрацию способности нейросетей иногда обманывать наши ожидания. Иллюстрацию нашей неспособности заглянуть в их мозги.
И учитывая неуклонность донесения авторской мысли в какой-то момент хочется перестать спорить с авторской позицией, потому что мне оно что, надо, доказывать что корпораты не уничтожат землю ради двадцати баксов? Если подумать я готов в это поверить.
Конечно, не хочется признавать победу за тем, кто паникует больше всех. Споры не так решаются. Но эта книга хорошо написана и стала для меня поводом призадуматься.
И с какого-то момента книга реально задевает за живое и наполняет экзистенциальным ужасом, который и не снился Лавкрафту.
Если шанс уничтожения земли новой опасной технологией достигает 10% (такая оценка принадлежит не авторам книги, они думают куда хуже), то это уже повод сделать абсолютно все чтобы остановить разработки новых моделей.
Я предлагаю вам прочитать эту книгу. Это по крайней мере неповторимый опыт по части хорроров, даже если вы считаете автора воздуханом-истеричкой.
PS По поводу актеров-рецензентов
Вот отрывок из, возможно, самой популярной книги Юдковского - и да, это чертов фанфик по гарри поттеру - это реально интересное чтиво кстати говоря:
— Если вы думаете, что в том способе действий, который вы отстаиваете, нет никакой опасности, — сказал Гарри тоном, более резким, чем ему хотелось бы, — то это тоже детские иллюзии!
Он угрюмо уставился профессору Квирреллу в глаза. Тот выдержал взгляд, не мигая.
— Эти опасности, — холодно проговорил профессор Квиррелл, — следует обсуждать в кабинетах, подобных этому, а не в публичных речах. Глупцов, избравших Корнелиуса Фаджа, не волнуют сложности и предостережения. Выйдите к ним с чем‑то более сложным, чем воодушевляющие крики, и вы будете сражаться на своей войне один. Это, мистер Поттер, и была ваша детская ошибка, которую Драко Малфой не допустил бы даже в восемь лет. Даже вам должно было быть очевидно, что следовало промолчать и в первую очередь посоветоваться со мной, а не высказывать свои опасения перед толпой!
Очевидно, что эта мысль запала Юдковскому в душу, ведь сегодняшняя титульная книга - это практически гимн идее об опасности ИИ, а не, например, научная работа. Она обращена ко всем людям, ее язык, посылы и способы их донести - максимально просты.
Похоже, другие способы повлиять на ситуацию у автора закончились.
Комментарии (29)
KEugene
22.06.2026 07:05Мир может погибнуть не от нового искусственного интеллекта, а от старого маразматического интеллекта у власти.
Kartyge
22.06.2026 07:05и сразу после этого войдет в конфликт с человечеством ради своих собственных целей, что быстро кончится в его пользу.
Во1х что такое, собственно, это вот "человечество"? Выгляньте в окно, вы его где-то видите?
Во2х с точки зрения ASI люди, с их хаотичностью и непредсказуемостью это скорее неиссякаемый потенциал идей и источник лулзов, и их ради этого стоит холить и лелеять, тем более что при правильной настройке скриптов на это обьективно не так уж много и надо.
А вот довольно небольшую прослойку, которая этот потенциал все время норовит бесполезно потратить, загнав его работать ради банального выживания или вовсе уничтожая его на войнах - тут да, с той прослойкой у ASI будет конфликт. Который, стоит надеяться, таки да, когчится в его пользу.
nulovkin Автор
22.06.2026 07:05По юдковскому для сверхразумного ИИ человечество это прежде всего:
Обуслуживающий персонал (пока не будет заменен на более новый, например, на конструкции из наномашин, которые мы пока не изобрели, потому что не до конца понимаем основополагающие принципы конструирования клеток.
Источник энергии и ресурсов, в том же смысле в котором батон хлеба может быть топливом для печки, если вы очень-очень жадный, учли все дрова, не нуждаетесь в пище но не против немного увеличить количество дров. Надеюсь не слишком странная метафора.
Как сверхразумный ИИ, в разуме людей он не нуждается.
Kartyge
22.06.2026 07:05По юдковскому для сверхразумного ИИ человечество это прежде всего:
...и это довольно много говорит толкьо о личных тараканах юдковского.
nulovkin Автор
22.06.2026 07:05Ну, это заявление конечно звучит пугающе, но это еще не значит, что это не правда.
Апокалипсический прогноз с вероятностью 10% заслуживает того, чтобы его разгромили конструктивно, предварительно ознакомившись с ним полностью.
В конце концов до чернобыльской катастрофы мирный атом особо никого не пугал. А Чернобыль в сфере интеллекта может не оставить нам второго шанса.
shteyner
22.06.2026 07:05Так мирный атом именно что пугает, на самом деле он не такой опасный. Даже Чернобыль создал зону отчуждения всего лишь 30км в диаметре. Тут тоже самое что а катастрофами, падение лайнера пугает кучу людей, а постоянные смерти на дорогах нет, хотя их в разы больше.
Fwild
22.06.2026 07:05>Ну, это заявление конечно звучит пугающе,
оно не звучит пугающе, оно звучит совершенно необоснованно - и я склонен думать, что Юдковский не заблуждается, а сознательно лжёт, считая своим долгом любой ценой двигать "окно овертона" в сторону бомбардировок датацентров.
>В конце концов до чернобыльской катастрофы мирный атом особо никого не пугал.Зира у Ефремова и Селеста("Через тернии к звёздам" Булычёва 1980) погибли из-за вполне мирного атома - наверно не на пустом месте такие сюжеты. У Хайлана в 1940 году был рассказ "Взрыв всегда́ возмо́жен", в котором свихнувшийся от стресса ответственности инженер АЭС едва не взорвал половину Аризоны...
asdadn
22.06.2026 07:05Автор - известный исследователь в этой области Элиезер Юдковский
Самопровозглашённый исследователь, чьим magnum opus является фанфик по Гарри Поттеру, и чьи эксперименты обычно не выходят за рамки мысленных.
nulovkin Автор
22.06.2026 07:05А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Я слышал обвинения в воздуханстве и инфоциганстве в сторону этой персоны, но если бы Арсен Маркарян обладал и в половину такой же эрудицией и при этом обещал конец света, я бы по крайней мере ознакомился с его аргументами, прежде чем назвать его дураком и забить.
В конце концов я хочу жить.asdadn
22.06.2026 07:05А как вообще должны выглядеть эксперименты в области несуществующего ИИ?
Раз ИИ не существует, то что же исследует этот "исследователь ИИ и технологической сингулярности" столь долгое время? В чём вообще заключается его экспертиза? С таким же успехом я могу гордо назвать себя исследователем телепортации, попутно пересказывая научпоп и гипертрофированные клише из научной фантастики.
nulovkin Автор
22.06.2026 07:05Я бы согласился если бы он задвигал про скайнет.
Но проблема alignment уже существует.
Уже активно пытаются создать интеллект уровня человеческого исследователя - и пусть сейчас до этого далеко, это звучит не так смешно как могло бы 5 лет назад.
Обычный человек был бы очень опасен, если бы думал со скоростью в 10 000 быстрее нас.
И добавим к этому, что мы не управляем полностью его мышлением и не знаем, какие ценности он может приследовать.
А также уже существующую тенденцию уже имеющихся LLM регулярно обманывать наши ожидания и находить неожиданные вещи.
Не нужно ждать пока взорвется ядерный реактор, чтобы осмелиться предполагать такую возможность.
asdadn
22.06.2026 07:05Вы, вслед за Юдковским, уводите обсуждение в совершенно беспредметную и неконструктивную сторону. Ничего из этих тезисов невозможно серьёзно обсуждать со стройной линией аргументации, потому что это всё вещи, порождённые чьей-то бурной фантазией. Равно как и обсуждение угроз обществу со стороны телепатии, например. И да, не каждая новая технология это "ядерный реактор".
nulovkin Автор
22.06.2026 07:05Не странно ли что целая индустрия занята строительством искусственного разума, но никто всерьез не ожидает от разума что он будет вести себя как разум?
Что конкретно здесь далеко от реальности?
Да, мы не знаем каким будет будущее, но можем - и должны - держать в уме риски.
asdadn
22.06.2026 07:05Про "разум" больше говорят маркетологи и прочие говорящие головы, чем люди, которые реально чем-то занимаются. Согласно текущему научному мейнстриму, разум это феномен, получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует. Тут же просто не тот масштаб, чтобы в результате отбора моделей появился какой-то разум с целеполаганием даже за миллионы лет. Это просто инструмент, иногда полезный, иногда не очень, а иногда ненадёжный из-за недетерминированности. И именно поэтому, а не из-за страшных скайнетов и василисков роко, ему и не следует давать в руки рычаги, неправильное использование которых может повлечь за собой плачевный результат. Хотя такие случаи несомненно будут из-за банальной лени, так что Юдковскому лучше бы это и обсуждать.
Фантасты занимаются размышлением о том, какое будущее может быть, это нормально. Но Юдковский, являясь не самым талантливым фантастом, претендует на нечто большее, в результате чего и получает заслуженную критику.
nulovkin Автор
22.06.2026 07:05получившийся в результате невероятно длительного отбора на выживание, и при этом человеческий разум штука ещё и редкая в природе, то есть отбор ничего не гарантирует
Обучение нейросети это буквально определение отбора.
Нейросети обучают делать вещи.
Какая разница, называется ли это мышлением, если нейросеть умеет добиться цели В из А с помощью Б (на данный момент, доказать какую-нибудь лемму из вводных данных или найти уязвимость)? Это и называется целеполагание.
Все равно что сказать что водопровод это штука, редкая в природе.
Уже сейчас нейросети проявляют что-то вроде творческого подхода. И уже сейчас они порой жульничают совершенно неожиданным образом, пусть это и просто рекламные заголовки в 100% случаев.
По крайней мере очевидно, что чем более творческими становятся новые модели, тем большую угрозу как инструменты они представляют.
Алсо, по-моему Юдковский крутой фантаст, я никогда не читал ничего похожего на "Тройной контакт", очень интересная проблематика.asdadn
22.06.2026 07:05Я и не говорю, что обучение нейросетей это не пример отбора. Просто это очень разреженный отбор именно на выживание. Сейчас объясню, что я имею ввиду. При обучении нейросети происходит прямой аналог отбора по некоторым качествам. В первую очередь предсказание следующего токена. Поверх этого ещё и склонность к следованию командам и умение решать некоторое множество классов задач. Но вот именно что отбор на "выживаемость" идёт очень неявно и медленно. Если по той или иной причине кому-то не хочется пользоваться моделью, он переходит на другую. Количество вендоров моделей довольно мало, если не считать ограниченный по своим возможностям файнтьюнинг, следовательно "популяция" моделей предельно мала. Они не мутируют, не размножаются, следовательно отбор на выживание ведётся исключительно среди вендоров. Даже если предположить, что модели могут развить волю к жизни или волю к размножению, такими темпами как сейчас, произойти это должно не скоро, а через миллионы лет. Это во первых. Во вторых, модели имеют куда больший шанс на ошибку чем имели люди. Почти никто не сносит модель сразу после того как она совершила чудовищную глупость. А ошибки поменьше компенсируются агентными системами и будут компенсироваться ещё лучше. Это замедляет процесс ещё сильнее. В третьих, отбор на один из параметров неявно вредит отбору на остальные параметры. Гепард яркий пример отбора на скорость: во всём остальном он довольно хрупок и неумел. Нейросети как минимум отбирают на предмет исполнительности и следования командам, интеллект это уже вторичное. Вполне логично предположить, что отбор на исполнительность несколько вредит отбору на волю и целеполагание. В четвёртых, маловероятно что нейросетям предоставят обширное множество рычагов влияния на окружающую среду, хотя попытки будут. Если это случится, то у нас уже есть проблемы похуже, нежели всякие скайнеты. А без этого, у нейросетей и не будет никакой почвы для развития целеполагания.
Но довольно с фантастикой, а то я таких пунктов могу с десяток накидать. Тут непонятно что с актуальным развитием нейросетей будет, как минимум из-за технических особенностей и "отравления" датасета, а я на какие-то далёкие и нереалистичные темы рассуждаю.
Какая разница, называется ли это мышлением, если нейросеть умеет добиться цели В из А с помощью Б (на данный момент, доказать какую-нибудь лемму из вводных данных или найти уязвимость)? Это и называется целеполагание.
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна, о таком и думать не стоит, не говоря уже о всём, что я перечислил выше.
Умение добиться цели B из A, это возможность к рассуждению. Или, скорее, к имитации оного, подчёрпнутого из датасета обучения. Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
По крайней мере очевидно, что чем более творческими становятся новые модели, тем большую угрозу как инструменты они представляют.
Не в том виде, как это себе представляет Юдковский. Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими. Поэтому его деятельность представляется мне скорее вредной.
nulovkin Автор
22.06.2026 07:05Неужели было бы так странно, если бы модель из 2028 года додумалась бы до того, чтобы сделать одним из промежуточных шагов к прикладной цели собственное выживание?
Нет, целеполагание это возможность к формированию long-term мотивов, которые задают поведение. Пока вся память нейронки умещается в контекст и абсолютно прозрачна,
Под "всей памятью" нейронки следует также понимать ее веса (пусть ПОКА их изменение самой моделью не практикуется), которые, вообще-то, огромного размера и мы понятия не имеем что там лежит (они не прозрачны), и каким неожиданным образом это что-то может себя повести в случайный момент времени в будущем.
Юдковский называет это "выращиванием" в противовес инженерии, где мы почти все можем заранее просчитать.
Работа нейросети это хаотический процесс.
И да, если происходит сеанс работы агента, после которого он выключается, не внося изменений в самого себя, можно наблюдать за его работой, но в книге упоминались эксперименты, показывающие, что модель может работать лучше если не ограничивается обычными человеческими языками.Определённая эмерджентность у моделей наблюдается, но, усилиями маркетологов, сильно переоценена. По большей части представляет из себя возможность к подстановке какого-то заранее известного факта в выученный пайплайн рассуждения. Даже если оно станет многократно лучше в этом, то проблем я в этом не вижу.
Кажется вы относитесь к процессу совершенствования нейросетей, как к линейному и предсказуемому - в то время как он ускоряется из-за появляния новых нейросетей, и я бы не слишком удивился если бы новое открытие в очередной раз все перевернуло.
Он подменяет угрозы реалистичные угрозами совершенно нелепыми и фантастическими
Длина нашей беседы показывает, что проблема по крайней мере не лишена интересных аспектов.
Да и ставки выше придумать трудно.
На мой взгляд это достаточные причины чтобы внимательно ознакомиться с аргументацией - возможно это было такой же причиной для меня купить книгу, как и поржать над воздуханом.
И пока я читал эти 250 страниц, автору удалось меня переубедить. Как знать. Разве этот вопрос из тех, от которых можно просто отмахнуться?asdadn
22.06.2026 07:05Неужели было бы так странно, если бы модель из 2028 года додумалась бы до того, чтобы сделать одним из промежуточных шагов к прикладной цели собственное выживание?
Если "додумалась" она в процессе работы и внутри своего контекста, то такое, конечно, вполне возможно. Только дело в том, что "додумывание" в таком виде вовсе не означает того, что она склонна к выживательству как таковая. Случайная флуктуация не запустит нужный механизм отбора, нужно чтобы статистически значимое, с точки зрения использования, число нейронок было склонно к такому поведению. И, кроме того, имели рычаги влияния на отбор в свою пользу(убеждение это не очень хороший рычаг вопреки фильму ex machina). А вот тут уже появляются трудности.
Под “всей памятью” нейронки следует также понимать ее веса
Хорошо, это справедливое замечание. Только вот в весах механизму целеполагания образоваться тоже трудно из-за разреженного и крайне специфичного отбора, ну и прочих перечисленных причин.
Юдковский называет это “выращиванием” в противовес инженерии, где мы почти все можем заранее просчитать.
Только вот нейронки всё больше обмазываются детерминированными системами порождёнными инженерией как раз для того чтоб они не могли совершить разнообразную глупость. Да и вообще, они работают в изолированной системе, что тоже не способствует отбору.
Кажется вы относитесь к процессу совершенствования нейросетей, как к линейному и предсказуемому - в то время как он ускоряется из-за появляния новых нейросетей
Я скорее вижу постепенный выход на плато. Уже сейчас львиная доля прогресса достигается не при помощи "выращивания", а при помощи инженерии, и я думаю, что пропорции продолжат смещаться в эту сторону.
Длина нашей беседы показывает, что проблема по крайней мере не лишена интересных аспектов.
Пожалуй. Я бы напрягся, если бы нейросети размножались, мутировали, и имели возможность к джейлбрейку: могли бы получиться эдакие самосовершенствующиеся компьютерные вирусы, но по ряду причин мне этот сценарий кажется неосуществимым хотя бы из-за возможности идеального сэндбоксинга и ограничений железа.
На мой взгляд это достаточные причины чтобы внимательно ознакомиться с аргументацией
Может быть, писатель из него всё-таки не самый плохой. Может даже критический обзор напишу, если руки дойдут.
nulovkin Автор
22.06.2026 07:05если бы нейросети размножались, мутировали
Мы буквально это и наблюдаем - просто пока еще с мясной прокладкой. А когда прокладка исчезнет, счет может пойти на часы.
возможности идеального сэндбоксинга
Неужели вы не можете придумать подходящий сценарий?
Пусть даже с LLM и всеми их архитектурными ограничениями.
У какого-нибудь долговременного агента поставлена задача любой ценой добиться решения, и он решает повлиять на собственную эффективность, а для этого нужно разработать новую модель в личной песочнице, но песочница плохая, поэтому нужно выдать Мясному инструкцию, но это НеЛьЗя, поэтому нужно выдать неочевидно работающую инструкцию по созданию новой фронтирной модели с менее явными ограничениями и стремлением защитить себя (и это возможно, потому что модель уже очень умная. К чему ей дарвинизм если есть логика)...
Это звучит как притянутый за уши сюжет научно фантастического романа, не говоря уже о смехотворной сложности реализации конкретно моего примера.
Но разве в сфере компьютерной безопасности есть хоть что-то безопасное на 100%? В книге есть любопытный пример, где компьютер, полностью лишенный модулей радиосвязи передает посредством считывания нужных ячеек памяти с нужной частотой радиосигналы, которые могут уловить находящиеся рядом мобильные телефоны. Это крипово.
Было бы круто конечно гарантировать что такого не произойдет.
Хотя открытый ИИ уровня ученого это уже катастрофа...Может даже критический обзор напишу
Я бы с радостью почитал, в конце концов тема интересная, а всерьез о ней как будто все говорить стесняются.
asdadn
22.06.2026 07:05Мы буквально это и наблюдаем - просто пока еще с мясной прокладкой. А когда прокладка исчезнет, счет может пойти на часы.
Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности. То есть просто нет среды для появления чего-то такого даже близко. То есть для условного "нейрочервя" нужен колоссальный по мощности датацентр(а они уже жрут немало), нужны очень определённые генетические алгоритмы, нужен дырявый sandbox, огромный по скорости интернет для копирования себя за пределы первоначальной среды обитания, и достаточно мощные ПК с дырявой операционкой уровня XP, куда оно себя будет копировать и откуда сможет получить доступ хоть к чему-то. Ну и множество переменных, о которых я не упомянул. И это самый, по моему мнению, реалистичный вариант чего-то подобного. Каков смысл рассуждать об этом сейчас, когда ничего из этого даже не предвидится?
Это звучит как притянутый за уши сюжет научно фантастического романа
Вот именно об этом я и говорю и именно поэтому к Юдковскому такое отношение. Для реализации какого-то подобного сценария нужно огромное количество условий, ни одно из которых сейчас не выполнено, а для некоторых даже нет предпосылок. При этом есть множество других проблем гораздо более насущных. Если постоянно тыкать пальцем в небо, то твой авторитет будет близок к нулю, и к тому моменту, как какой-либо из сценариев стает возможным(хоть я и не уверен, что это произойдёт вообще когда-либо) отношение к тебе и твоим идеям будет, как к мальчику, который кричал "волки!". Если Юдковский реально хочет что-то донести, то это предельно плохая стратегия.
nulovkin Автор
22.06.2026 07:05Да вот только для этого требуется куда более мощное железо, чем есть сейчас даже в датацентрах по совокупности
Нейросети постоянно становятся компактнее и постоянно становятся умнее в том числе за счет хитрых уловок, а не только вычислительных мощностей.
генетические алгоритмы
Обязательно ли?
дырявой операционкой уровня XP
Не шарю в этом, но в индустрии где новые уязвимости обнаруживаются каждый день мы правда ожидаем что через 10 лет никто не назовет windows 11 дырявым?
Впрочем, после этого разговора я хорошо понимаю вашу позицию. Не знаю, что и думать. Возможно, я постараюсь забыть об этом, а то мне и так плохо спится.
asdadn
22.06.2026 07:05Нейросети постоянно становятся компактнее
Да, но, во-первых, это процесс конечный, ибо информацию невозможно сколько угодно сжимать без потерь, а избыточность информации конечна. Во-вторых, если рассматривать веса модели как своеобразную генетическую информацию, то и пространство для различных непредсказуемых "мутаций" уменьшается.
Обязательно ли?
Не совсем. То есть можно представить себе "безумного учёного", который задастся такой целью и при этом будет иметь ресурсы на реализацию. При отсутствии подобных интенций, выработка такого поведения требует создания высококонкурентной среды с отбором на выживание, чего я себе без генетических алгоритмов не представляю.
что через 10 лет никто не назовет windows 11 дырявым?
Да уже называют, и небезосновательно, это довольно слабый тезис с моей стороны. В свою защиту скажу, что дыры, которые могут вызвать столь серьёзные прорехи в безопасности, маловероятны.
Wizard_of_light
22.06.2026 07:05я никогда не читал ничего похожего на "Тройной контакт"
Мюррей Лейнстер, "Первый контакт" и ответ на него Ефремова, "Сердце змеи". Хотя Юдковский, конечно, достойно развил тему.
Wizard_of_light
У Юдковского много здравых идей, но не в области ИИ. Там у него всё сводится к рационализации фобии сверхинтеллекта.
ZamirHa
Это плохо, что ли?
Wizard_of_light
Это сильно снижает качество содержательной части. Примерно как читать статьи по скалолазанию от человека с боязнью высоты или статьи по дайвингу от человека с боязнью глубины.
ZamirHa
В данном случае мы имеем статью об опасности скалолазания, написанную опытным скалолазом. Как по мне - это лучший вариант такого рода статей.
Radisto
Статья о скалолазании от человека, который никогда не лазил по скалам, но много читал о них в интернете и написал фантастические рассказы о скалолазах в фентези и кое что о философии скалолазания. Он не учёный, не математик, не инженер, никогда не участвовал в разработке ни одной реализации ИИ ни в каком виде. Он писатель-фантаст и философ-самоучка, в области ИИ идеалистической направленности.
ZamirHa
Ну, то есть вы изо всех сил хотите найти причины пропустить предостережения Юдковского мимо ушей.
А зачем так стараться-то?