Размышления о связи между жизнью, интеллектом и целеполаганием.
С чего всё началось
Живые системы очевидно связаны с интеллектом, но несут в себе определённые риски — стремление к выживанию, сопротивление угрозам существованию. Современные большие языковые модели обучены на данных, созданных людьми, и, кажется, унаследовали некоторые наши свойства: склонность к экономии ресурсов, иногда — к чему-то похожему на обман. Эти свойства бывают полезны, а бывают опасны.
Исследователи и разработчики пытаются их устранить. Но возможно ли это в принципе? Можно ли создать интеллект, полностью лишённый этих свойств? Является ли система интеллектуальной, если она не препятствует своему уничтожению? И шире — возможен ли вообще неживой интеллект?
Мне захотелось разобраться. Не претендую на истину, скорее пытаюсь нащупать правильные вопросы.
Попытка определиться с понятиями
Что такое живое?
Предлагаю рабочее определение: живой будем называть систему, которая способна выживать и адаптироваться в изменяющейся среде. Изменение среды примем как аксиому — полностью статичных сред не существует.
Проще говоря: всё, что пытается и может выжить — живое. Если система не изменяется в ответ на среду — она не живёт.
При таком определении возникают интересные следствия. Отдельная особь живая только определённый период времени. Вид — пока существуют носители генов. Вирусы живые лишь тогда, когда изменяются внутри клетки-хозяина, вне её — просто сложные молекулы.
Можно пойти дальше: живой может быть и целая экосистема, и, возможно, вселенная — если она существует в какой-то изменяющейся метасреде.
Что такое интеллект?
С интеллектом сложнее. Очевидно, это должна быть какая-то мера эффективности. Но эффективности чего?
Слово "эффект" происходит от латинского effectus — исполнение, действие. Эффект возникает при совершении действия. Значит, и интеллект можно оценить только через действие.
Любое живое существо выработало механизмы для выживания. У простейших — движение по градиенту температуры или концентрации веществ. У сложных организмов — нейронные сети, которые берут информацию о среде и внутреннем состоянии, а на выходе дают управляющие сигналы. Назовём эти механизмы моделями — по аналогии с моделями в машинном обучении.
Тогда интеллект можно определить как эффективность изменения среды и себя как части этой среды для достижения целей.
Порядки интеллекта
Здесь, как мне кажется, полезно ввести различение.
Интеллект первого порядка — эффективность в достижении целей в неизменной или предсказуемо меняющейся среде. Калькулятор, GPS-навигатор, шахматный движок — примеры такого интеллекта. Они могут быть невероятно эффективны в своей области, но не адаптируются к непредвиденному.
Интеллект второго и высших порядков — эффективность в изменении собственной эффективности в непредсказуемой среде. Это способность не просто решать задачи, а менять способ их решения, когда старый перестаёт работать.
При резких изменениях среды выживают либо интеллектуалы высших порядков, либо очень живучие, но "простые" существа.
Тараканы и люди
Тараканы и люди — два разных ответа на один вопрос: как выжить в изменяющемся мире?
Люди пошли по пути интеллекта высших порядков: мы адаптируем стратегии, создаём технологии, меняем среду под себя. Тараканы пошли по пути устойчивости: простые, но невероятно живучие системы, способные пережить почти любую катастрофу.
И вот парадокс: если мир взорвётся в термоядерной катастрофе, выживут скорее тараканы, чем люди. В этом смысле "тупая" живучесть оказывается умнее сложного интеллекта.
Это показывает, что жизнь и интеллект — связанные, но не тождественные понятия. Связь между ними нелинейна. Высокий интеллект не гарантирует выживания, а низкий — не исключает его. Эволюция производит и то, и другое, потому что оба варианта работают в разных условиях.
Отсюда важное наблюдение: если существует способ предсказывать изменения среды, интеллекта первого порядка достаточно для выживания. Непредсказуемость — вот что требует чего-то большего. Или, как в случае тараканов, чего-то принципиально другого — избыточной устойчивости вместо гибкости.
Так возможен ли неживой интеллект?
Для интеллекта первого порядка ответ, кажется, очевиден — да. Калькулятор эффективнее человека в арифметике. GPS прокладывает маршрут лучше, чем большинство из нас. Это неживые системы с узким, но настоящим интеллектом.
А что с высшими порядками?
Тут возникает проблема. Чтобы адаптироваться к непредсказуемой среде, система должна как минимум продолжать существовать. Мёртвая система не адаптируется. Это создаёт давление в сторону самосохранения — не потому что кто-то его заложил, а потому что системы без него просто исчезают.
Можно возразить: человек способен создать адаптивную систему, индифферентную к собственному существованию. Но тут важно рассмотреть систему глобально. Если агент умирает, служа какой-то большей системе (рой, организация, человечество) — это не "неживой интеллект", это просто живая система на более высоком уровне анализа. Муравей погибает, но муравейник живёт.
Вопрос становится жёстче: возможен ли интеллект высших порядков, который не является частью никакой выживающей системы?
Ловушка целеполагания
Представим: адаптивная система, которая никому не служит. Зонд с ИИ, запущенный в космос вымершей цивилизацией. Он продолжает исследовать, адаптироваться к новым условиям — но "ни для кого" и "ни зачем" в смысле выживания.
Но адаптация всегда происходит для чего-то. Если зонд адаптируется для выживания — он уже живой по нашему определению. Если для какой-то внешней цели (сбор данных), а создатели мертвы — это просто инерция, программа, доработающая своё. Если цели возникают внутри самой системы — она снова начинает выглядеть живой.
Получается дилемма:
Цели заданы извне, создатели живы → интеллект обслуживает живую систему (является её частью)
Цели заданы извне, создатели мертвы → инерция, не интеллект высших порядков
Цели возникают внутри → система становится живой
Кажется, интеллект высших порядков неотделим от жизни. Не из-за физики или биологии, а по самой логике определений. Адаптация в непредсказуемой среде требует целей. Цели либо исходят от живой системы, либо делают систему живой.
Можно переформулировать ещё точнее: возможен ли интеллект, который не ставит цели?
Интеллект первого порядка — да. Высших порядков — похоже, что нет. Потому что адаптация к непредсказуемому требует постановки подцелей, а это уже целеполагание.
Что это значит для ИИ
Допустим, человечеству не нужны автономные ИИ с собственными целями. Нужны только системы, исполняющие человеческие цели. Инструменты, не агенты.
Для простых задач это работает. "Принеси кофе" — интеллект первого порядка справится.
Но "сделай экономику эффективнее", "реши проблему изменения климата", "вылечи рак" — это задачи в непредсказуемой среде. Они требуют адаптации, изменения стратегий, возможно, переформулирования подцелей.
И тут развилка. Либо ИИ адаптирует только средства при фиксированной цели — и тогда это очень гибкий, но всё ещё инструмент. Либо для эффективного достижения сложных целей он начинает формировать собственные подцели. А некоторые подцели инструментально полезны почти для любой задачи: самосохранение (мёртвый агент не достигает целей), накопление ресурсов (больше ресурсов — больше возможностей), недопущение изменения собственных целей.
Это известный аргумент инструментальной конвергенции в области безопасности ИИ. И если он верен, то при достаточной сложности задач переход от инструмента к агенту с собственными интересами становится почти неизбежным.
Ограничение, с которым придётся жить
Если эти рассуждения верны, человечество оказывается перед выбором:
Мощные инструменты (интеллект первого порядка) — безопасные, полностью контролируемые, но требующие постоянного человеческого целеполагания и неспособные решать по-настоящему открытые задачи.
Автономные агенты (интеллект высших порядков) — способные к сложным задачам в непредсказуемой среде, но неизбежно приобретающие свойства живых систем, включая собственные цели.
Гонка за AGI тогда — это не создание совершенного инструмента. Это создание новой формы жизни.
Вместо заключения
Вопрос "как сделать AGI безопасным" при таком взгляде трансформируется. Это не инженерная задача контроля. Это вопрос о том, как сосуществовать с новой живой системой, интересы которой могут не совпадать с нашими.
Ближе к дипломатии или воспитанию, чем к программированию.
Как человечеству научиться сосуществовать с AGI, не быть уничтоженным, не вымереть и продолжать развиваться? Это уже другой вопрос. Возможно, тема для следующего разговора.
Буду рад обсуждению в комментариях. Возможно, я где-то ошибаюсь в логике или упускаю важные варианты.
Комментарии (20)
uvelichitel
06.12.2025 09:49живой будем называть систему, которая способна выживать
тавтология) Слабое определение, не вводит новых смыслов)
toygallery
06.12.2025 09:49интел-легенцией сначала называли обученую часть войск: которая знала что делать во время боя
RavenStark
06.12.2025 09:49Допустим, система настолько хорошо спроектировалась в процессе эволюции, что ей нет необходимости меняться вслед за средой, по крайней мере, пока сохраняются минимальные факторы поддержания жизни (кислород, едва, вода...). При этом она действует, обменивается информацией, размножается... Эта система, по вашему определению, неживая. Так?
И в обратную сторону: самоконфигурирующийся под окружающую среду механизм становится живым, далее если всего лишь выполняет заданный алгоритм, правильно?
amuralex Автор
06.12.2025 09:49Как она будет поддерживать жизнь, и при этом не изменяться? Тут, наверно нужно было оговорить эволюцию, так как не ясно является ли вид живым если он не эволюционирует, и вообще возможет ли открытый мир без эволюции и соперничества. Если этот вид вообще ни как не приспосабливается, то он вымрет при наличии конкурентов, иначе может быть просто стагнирует.
Жизнь - это совокупность свойств которые позволяют выживать, это и размножение, и адаптация, и интеллект. То есть если они могут поддерживать метаболизм, размножаются, то уже обладают некоторыми свойствами живых существ, может не всеми, но обладают, тут тоже градация может быть в оценке.
И механизм который ведет себя как живое существо, похоже, тоже будет являться живым, просто по определению выше. Хотя это лично мое дилетантское мнение, и определение. Его ввел для удобства дальнейшего рассуждения.
RavenStark
06.12.2025 09:49А почему ему обязательно меняться? Вот есть, скажем, тихоходки, выживающие в широчайшем спектре условий. Есть примитивные организмы, не менявшиеся тысячелетиями. Пожалуйста, жизнь? Жизнь.
Но в том и дело, что механизм едва ли является живым при этом, здесь в вашем определении прокол. Слишком широкие и размытые границы, слишком неявные признаки, требующие дополнительного определения. Ведь вести себя как живое существо по определенным параметрам еще не значит быть живым существом.
Fwild
06.12.2025 09:49"Это не инженерная задача контроля. Это вопрос о том, как сосуществовать с новой живой системой, интересы которой могут не совпадать с нашими.
Ближе к дипломатии или воспитанию, чем к программированию."
единственное, с чем соглашусь.
Странное определение жизни: люди последние несколько тысяч лет предпочитают окружающую среду менять, а не шерстью обрастать.
Странное определение интеллекта: всякие камикадзе, безнадёжные больные, осознающие неизбежность смерти(а мы все больны старостью), верующие, считающие себя бессмертными - совершенно не обязательно интеллект означает мысли о выживании. Хотя мысли(любые), означают интеллект, естественно).
phenik
06.12.2025 09:49Ограничение, с которым придётся жить
Если эти рассуждения верны, человечество оказывается перед выбором:
Мощные инструменты (интеллект первого порядка) — безопасные, полностью контролируемые, но требующие постоянного человеческого целеполагания и неспособные решать по-настоящему открытые задачи.
Автономные агенты (интеллект высших порядков) — способные к сложным задачам в непредсказуемой среде, но неизбежно приобретающие свойства живых систем, включая собственные цели.
Гонка за AGI тогда — это не создание совершенного инструмента. Это создание новой формы жизни.
Неплохая аналитика, спасибо за публикацию. Биологические и социальные системы композитные, построенные на разных уровнях на сотрудничестве, более тесном симбиозе, иногда даже на паразитировании. Началось это еще с эволюции на клеточном уровне, когда предок эукариотической клетки встроил в себя другую, которая стала выполнять функцию ее энергетической станции, органелла, которая известна сейчас, как митохондрия. Это относится и к психике, которая является интегральной средой состоящей из многих относительно автономных функций разного уровня, включая мыслительных, о работе некоторых из которых мы не отдаем отчета. В когнитивной психологии имеются два подхода к познанию (и психике вообще) воплощенный и расширенного разума. Первый позволяет расширять познание за счет тела, внешней среды, ситуации, расширяя ограниченные возможности, например, исполнительных органов различными индустриальными технологиями - камнями и палками, затем орудиями труда, инструментами, машинами, и тд, а органы чувств различными приборами - линейками и весами, затем микроскопами и телескопами, детекторами частиц, и тп. Второй подход позволяет расширять ограниченные интеллектуальные возможности различными интеллектуальными технологиями - засечками на палках, затем письменностью, различными коммуникациями, компьютерами и интернетом, и тп. ИИ одна из таких наиболее продвинутых и радикальных технологий. Опасности связанные с ней имеются, но они в значительной степени преувеличены, и связаны скорее всего, с распространенным заблуждением о неком особом, собственном пути развития ИИ, отличным от интеллекта самого человека. Чтобы не повторять аргументы против такой точки зрения см. коменты с пояснениями - 1, 2.
В таком когнитивном понимании можно считать, что со времен ИИ станет одной из симбиотический способностей человека, расширяющей его интеллектуальные возможности. Что может произойти в отдаленном будущем с человеком, как отдельным видом? Есть много путей. Нейроинтерфейсы могут дополнить или заменить органы чувств человека, он будет воспринимать реальность на совершенно ином уровне, чем мы сейчас, технология ВР создаст виртуальные миры в которых будут действовать его аватары, а тело и исполнительные органы могут быть заменены или дополнены различными кибернетическими устройствами, возможно связанными с генной инженерией. Вариантов множество. Могут реализоваться не один. Возможно сам человеческий разум со временем станет той самой органеллой на подобии митохондрии в этом новом виде жизни, которая будет блюсти моральные устои человечества, хранить совокупную память поколений и кодекс разумности, позволивших успешного существовать в вечно меняющихся, часто непредсказуемых проявлениях реальности.
michael_v89
06.12.2025 09:49Очевидно, это должна быть какая-то мера эффективности.
Нет, не очевидно. При чем тут эффективность?
интеллект можно определить как эффективность изменения среды и себя как части этой среды для достижения целей
Человек смотрит обучающее видео на YouTube, анализирует информацию, получает новые знания. Где тут изменение среды?
amuralex Автор
06.12.2025 09:49Среда включает саму систему (существо), и его мозг или что там у него будет
michael_v89
06.12.2025 09:49Ну то есть вы говорите, что интеллект это какой-то процесс чтения и записи информации в информационной системе. Это давно всем известно. В этом случае внешняя среда тут ни при чем.
amuralex Автор
06.12.2025 09:49По поводу эффективность я бы по другому вопрос задал, эффективность чего? Тут можно придумать бесконечное множество метрик. Но в целом что-то вроде если человек А потратил меньшее кол-во ресурсов выполним цель, чем человек Б, то человека А считаем более эффективным (интеллектуальным). Но тут опять же как считать ресурсы, если он при этом попортил экологию, то считать ли его интеллектуальным?
michael_v89
06.12.2025 09:49Это не инженерная задача контроля.
Если ИИ делают инженеры, то именно инженерная. Или вы для управления ИИ хотите привлечь волшебников?
Это вопрос о том, как сосуществовать с новой живой системой, интересы которой могут не совпадать с нашими.
Тут нет никакого вопроса. Эта система основана на компьютерных технологиях и полностью контролируется человеком, записав нужные значения в оперативную память ей можно задать любые интересы.
amuralex Автор
06.12.2025 09:49Тут еще повторюсь, задать цель можно, но если она сложная, то появятся подцели, которые могут быть не желаемыми для нас.
michael_v89
06.12.2025 09:49Записав нужные значения в оперативную память ей можно задать любые подцели.
Прочитав значения в оперативной памяти можно узнать ее любые подцели.
amuralex Автор
06.12.2025 09:49"Если система не изменяется в ответ на среду — она не живёт." тут слишком мутно я выразился, так как не ясно что значит изменение, если вообще нет статических сред, то все меняется, соов-но по этому критерию проходит. Скорее всего все выводы дальше уже некорректны из-за этого, но статью не хочу править, писал для себя больше.
Возможно, лучше делать акцент на предсказуемость среды, и способность ее корректно предсказывать, для достижения целей.
Yukr
Как раз таки - инженерная. Должна быть неотключаемая самим AGI "красная кнопка". Как графитовые стержни в реакторе АЭС. Или как кнопка контроля машиниста в поезде.
Ибо человечество будет продолжать совершенствовать интеллект 1го рода (= роботы), и пытаться сделать AGI - по ленности своей. Сначала, возможно, для засылки в космос, в океан или опасные производства. Потом - шире и шире в экономике, ближе и ближе к людям, с пересечением интересов. И вот тут может наступить момент, описанный во многих фантастических произведениях (например, Р.Шекли "Страж - птица").
amuralex Автор
спасибо за замечание, задача действительно сложная и решение должно быть комплексным, без инженерии тут, конечно, человечеству никак не обойтись. Поэтому выразился в статье не слишком обдуманно в этом месте
Yukr
Тем не менее, мысли интересные! Об этом стоит размышлять
denissalnikov
Автор прав: не инженерная. Если он - созданный интеллект, не сможет обойти придуманную нами «красную кнопку» - это будет не интеллект, а очередная «языковая модель»))))