Продолжая тему, затронутую в статье об искусственном интеллекте и здравом смысле, хочу затронуть два принципиальных, но зачастую упускаемых из виду отличия мозга от искусственной нейронной сети. Во-первых, нейронная сеть состоит исключительно из «нейронов», а мозг – из нейронов и глиальных клеток. Оставлю здесь ссылку на интересную обзорную статью о глии, которую написала на Хабре уважаемая Василиса Белокопытова @vasilisa_b До недавнего времени считалось, что глиальные клетки играют в мозге сугубо вспомогательную роль и функционально подобны оболочке проводов, передающих сигнал. Однако свежие исследования, в том числе, с применением искусственных нейронных сетей, привлекают всё более серьёзное внимание к астроцитам. Это небольшие звёздчатые клетки в составе глии. Они взаимодействуют как с нейронами, так и с синапсами, и вопрос о том, могут ли они передавать нейронные импульсы, рассматривался на сайте N+1 ещё около двух лет назад. Подробнее об этом — под катом.

Мозг несводим к естественной нейронной сети — это гораздо более сложный орган, где кроме нейронов существует ещё несколько типов вспомогательных клеток. Более того, в черепной коробке кроме мозга располагаются две важнейшие железы, гипофиз и эпифиз. Высшая нервная деятельность локализована в коре больших полушарий, но в глубинах мозга идёт разнообразная примитивная, но не менее важная работа, не контролируемая сознанием. С максимальным упрощением можно сказать, что мозг — это система передачи электрохимических сигналов, управляющая жизнедеятельностью организма.

Вот как выглядят культуры шести основных типов клеток, входящих в состав мозга. Все эти клетки выращены in vitro в Массачусетском технологическом институте и входят в состав культуры miBrain, выращенной и исследуемой в рамках поиска лекарства от болезни Альцгеймера. 

Таким образом, работа мозга далеко не ограничивается взаимодействиями нейронов, и поэтому мозг нельзя смоделировать как нейронную сеть, не упустив при этом многих важных аспектов его работы. Примерно половина клеток мозга приходится на глию, и особое место среди глиальных клеток занимают астроциты. Такое название эти клетки получили благодаря характерной звёздчатой форме.

Благодаря такой форме, астроциты прорастают в мельчайшие полости между нейронами, кровеносными сосудами и синапсами. Они настолько плотно контактируют с синапсами, что напоминают по принципу работы оверлейную сеть, опосредующую контакты между нейронами.

Каждый отдельный астроцит ретранслирует нервные сигналы между миллионами прилегающих к нему синапсов, образуя так называемый «трипартитный синапс». Работая в таких трёхчастных связках, астроциты впитывают часть нейромедиаторов, выделяемых при синаптической передаче сигнала, и определяют силу нейронного взаимодействия. В качестве реакции на эту информацию внутри астроцита колеблется содержание кальция, что запускает каскад биохимических реакций. В качестве обратной связи астроциты подают в синаптическую щель собственные сигнальные вещества, именуемые глиотрансмиттерами.   

Версии о том, что астроциты активно участвуют в передаче нейронной информации с участием ионов кальция появились уже в начале нулевых. Каскад реакций, возникающих в ответ на повышение содержания кальция в клетке, приводит к выделению нейромедиаторов, модулирующих работу синапсов, а также влияет на кровоток. Чтобы астроцитарные сигналы работали, нужен запас кальция, и ионы этого металла действительно запасаются в эндоплазматической сети астроцита, а при определённых условиях — высвобождаются. При этом основная цель астроцитов — не информационная, а вспомогательная. Они постоянно обслуживают нейроны, снабжая их энергией и отводя продукты обмена веществ, а также стекаются к месту черепно-мозговых травм, выделяя вещества, необходимые нейронам для восстановления. Таким образом, нейроны и астроциты постоянно взаимодействуют друг с другом, но астроциты остаются инертными к электрическим сигналам на ЭЭГ, из-за чего их роль в функционировании мозга долго недооценивалась.

Однако во второй половине 2010-х эти поиски получили новый импульс благодаря исследованиям с применением новых красителей, чувствительных к кальцию. В присутствии этих красителей удалось как подробно рассмотреть сложную форму астроцитов, так и зафиксировать их активное участие в работе нейронов. 

Как я указывал выше, астроциты плотно опутывают синапсы (один астроцит может связывать до 100 000 синапсов). Благодаря этому они тщательно контролируют работу синапсов и вмешиваются в их активность, если синапс начинает сбоить при передаче сигналов. Чтобы уточнить динамику этих процессов, а также лучше понять роль астроцитов в работе мозга, учёные из Лаборатории молекулярной нейробиологии при университете Варшавы попробовали анализировать изменение физических характеристик астроцитов разработали специальный генетический инструмент, интегрировав в геном подопытных мышей последовательность ДНК из генома коралла Discosoma. Благодаря этому мышиные астроциты стали светиться под микроскопом.

Все эти исследования, продемонстрировавшие теснейшую связь между работой нейронов и астроцитов, натолкнули учёных под руководством Дмитрия Кротова из Массачусетского технологического института (MIT) на идею о том, что именно абстракция, подобная астроцитам, может сыграть ключевую роль в развитии крайне популярных сегодня сетей-трансформеров.  

Архитектура трансформеров и стабилизация воспоминаний

В 2014 году была собрана первая искусственная нейронная сеть, работающая по принципу трансформера. Она называлась Seq2Seq (Sequence-to-sequence). Сегодня трансформеры являются наиболее популярной категорией генеративных нейронных сетей и, в частности, больших языковых моделей. Ключевым аспектом трансформера, отличающим его от более ранних архитектур нейронных сетей, является «внимание» (attention). Наиболее популярной современной разновидностью трансформеров являются GPT (generative pretrained transformer), а наряду с ними существуют языковые модели типа BERT (двунаправленные кодирующие представления на основе трансформеров). Недавно в блоге @Sivchenko_translate я публиковал перевод о специфике BERT, вернее, об отличии энкодерного и декодерного подхода к трансформеру. Одно из наиболее парадоксальных свойств трансформера заключается в том, что его (в отличие от других моделей нейронных сетей) пока не удаётся собрать из биологических компонентов.    

Вот отличная статья о трансформерах в картинках – перевод от уважаемого Сергея Шкарина @Kouki_RUS В общем виде механизм внимания в трансформерах построен так:

Исходно трансформеры были спроектированы для обработки естественного языка, но в настоящее время также используются применительно к изображениям, речи и аудио. До появления трансформеров нейронные сети приходилось обучать на размеченных датасетах, а их сложно и дорого готовить. Трансформер же способен самостоятельно впитывать огромный набор необработанных данных и самостоятельно разбираться в их внутренней структуре.

Наряду с (многоголовым) вниманием трансформер использует для этого долговременную память и такую абстракцию как «банк памяти». На следующей иллюстрации видим три вентиля: «I» (ввод), «O» (вывод) и «F» (забывание).

Кротов и его группа предположили, что астроцит, имеющий одновременный доступ к миллионам синапсов, может служить буфером памяти, в котором интегрируется информация, поступающая от ближайших нейронов. Проверяя эту гипотезу, Кротов с соавтором, Львом Козачковым и при поддержке Ксении Кастаненко из Гарварда попробовали соотнести базовую архитектуру трансформера с нейронно-астроцитной моделью, применив к ней математику трансформеров. Поэкспериментировав с вариантами ввода и вывода, они предложили модель, иллюстрирующую «запись» информации в астроцит как в долговременную память и чтение из неё.       

Чтобы протестировать гипотезу, они залили в модель абстракт собственной статьи, поданной в PNAS, и стали провоцировать отклик астроцитов, измеряя уровни кальция по мере того, как модель обрабатывала токен за токеном. То же самое они проделали с предобученным трансформером для обработки естественного языка, записывая флуктуации внимания и по этим флуктуациям определяя важность каждого слова относительно других слов.

Значительно более интересные данные (как и раз и побудившие меня, наконец, разобрать эту тему на Хабре) получены в течение 2025 года и опубликованы в середине октября группой под руководством Дзюна Нагаи из японского института физико-химических исследований RIKEN. Оказывается, астроциты формируют активный молекулярный ансамбль и действуют в качестве механизма долговременной эмоциональной памяти, закрепляющие и стабилизирующие воспоминания о сильных переживаниях — например, ощущение страха. Астроциты напоминают о пережитом, активируя внутриклеточную систему сигнализации, насыщая при этом мозг ионами кальция²⁺. Такое действие астроцитов помогает при регуляции норадреналина, и этот механизм, вероятно, лежит в основе неконтролируемых всплесков страха при посттравматическом стрессовом расстройстве (ПТСР). Группа Нагаи выявила эволюционную основу этого механизма — оказалось, что она заключается в гене FOS, который отвечает за обусловленную опытом активацию нейронов. Астроциты в процессе работы взаимодействуют с отдельными контурами памяти, которые называются «энграммами». Этот механизм обеспечивает устойчивое и зачастую гипертрофированное припоминание опыта, приобретённого в условиях сильного испуга или затяжного стресса. 

Биологический аналог трансформера

Учитывая эту находку, открывается перспектива создать новую модель ИИ, в которой будет работать не только нейронная, но и астроцитная составляющая. Цифровые астроциты могут отвечать как за долговременное запоминание сигнала, усвоенного на этапе обучения, так и на его активацию (с усилением) в нужных контекстах. В настоящее время эта работа совместно ведётся в ИИ-лаборатории IBM, разработавшей экспертную систему Watson, а также в MIT и в медицинской школе при Гарвардском университете. Теоретически, биологическая сеть из нейронов и астроцитов, даже созданная для проверки концепции, должна решать все те задачи, которые решает трансформер. В то же время, детали работы астроцитов пока не алгоритмизированы, и описать их с вычислительной точки зрения пока сложно. Вот какую аналогию между трансформером и трипартитным синапсом приводят в своей статье Кротов, Козачков и Кастаненко:

Такой «биологически правдоподобный трансформер» может позволить перенести работу GPT на клеточный субстрат, а также объяснить, почему трансформеры настолько успешно справляются с различными творческими задачами.

Как известно, трансформеры отличаются по принципу работы от всех прочих видов нейронных сетей, и всё дело в механизме внимания, который я уже упоминал выше. Например, рекуррентная нейронная сеть (RNN), обученная на корпусе текстов и нацеленная на обработку естественного языка, примеряет каждое слово в высказывании к своему внутреннему состоянию, которое, в свою очередь, зависит от всех других слов, обработанных ею ранее. Трансформер же проделывает такую «примерку» со всеми словами в высказывании сразу, и ему это удаётся благодаря самовниманию.

Чтобы механизм самовнимания работал, трансформер должен держать «в памяти» все слова (токены), с которыми работает. Дмитрий Кротов изучал этот феномен с момента появления первых трансформерных архитектур и пришёл к выводу, что средствами одних только нейронов этого не добиться, поскольку искусственный нейрон не хранит состояния, а срабатывает в ответ на входящие данные. Естественный нейрон, в свою очередь, срабатывает в ответ на раздражитель или, в более широком смысле (электрический) сигнал. Таким образом, в коде традиционной нейронной сети не хватает как кода-нейромедиатора, так и «астроцитного» слоя, который отвечал бы за долговременное удержание и восстановление контекста. Структура, которая решала бы все эти задачи, удивительно напоминает трипартитный синапс.

Астроцит собирает нейромедиаторы, которыми обмениваются синапсы, а в какой-то момент даёт обратную связь нейронам. Сигнал астроцита гораздо более длительный, чем сигнал нейрона, поскольку больше похож не на электрический импульс, а на поток. Поток обеспечивается благодаря тому, что астроцит может медленно наращивать или сбавлять содержание кальция, не прерывая работы по сбору информации от нейронов. Затем она при необходимости или при наступлении момента для разрядки сбрасывается в нейроны. Таким образом, на уровне астроцитов в мозге реализован буфер памяти.   

С математической точки зрения такие взаимодействия весьма точно описывают модели плотной ассоциативной памяти, расширяющие архитектуру хопфилдовских нейронных сетей. Эти расширения Джон Хопфилд и Дмитрий Кротов совместно разрабатывали примерно с 2016 года. В отличие от традиционной хопфилдовской сети, где синапсы связывают лишь пары нейронов, модели плотной ассоциативной памяти зависят от схождения множества нейронов к общим точкам взаимодействия. Такие взаимодействия между чистыми нейронами не возникают, но, судя по опытам in vivo, с высокой вероятностью происходят на уровне астроцитов. В свежем исследовании Кротова, Козачкова и Слотина, вышедшем в мае 2025 года, построена модель, в которой хранение и извлечение данных происходит одновременно с участием нейронов и астроцитов и показано, что информационная ёмкость такой системы гораздо выше, чем у обычной нейронной сети.  

Заключение

Все эти выкладки удивительным образом согласуются с современными разработками в области архитектуры нейронных сетей и, в частности, трансформеров. Биологическим аналогом трансформерного «внимания» может быть изменяющийся со временем уровень связности астроцитов, а устройство долговременной памяти с её неосознаваемым компонентом, активируемым, например, во время стресса или гипноза, может соответствовать плотной ассоциативной памяти. Опыты на датасетах CIFAR-10 и Tiny ImageNet показали, что нейронно-астроцитные сети лучше запоминают, воспроизводят и вычленяют сложные узоры даже при частичном сокрытии картинки и общей зашумленности.

Вдобавок к сказанному, нейронно-астроцитная сеть масштабируется лучше, чем обычная нейронка, поэтому открывает новые возможности при проектировании нейроморфных процессоров. Описанные здесь исследования приглашают нас вновь задуматься о природе памяти и позволяют предположить, что воспоминания и опыт распределены в мозге ещё сильнее, чем предполагалось ранее. Координация синапсов через астроциты и замена естественных астроцитов на цифровые аналоги могли бы поспособствовать лечению травм, нейроденегеративных заболеваний, амнезий, а также полнее понять природу сознания.