Сотрудники Anthropic опубликовали 6 июля 2026 года результаты своего нового исследования в котором заявили об обнаружении в Claude аналога "глобального рабочего пространства" — J-space.
Исследование крайне интересно, и, как я считаю, раскрывает будущее нейросетей глубже, чем кажется на первый взгляд.
В этой статье я рассмотрю, почему Теория глобального рабочего пространства описывает структуру находки, но молчит о её главной странности — о том, что workspace состоит из слов. И почему на этот вопрос сто лет назад ответил Лев Выготский.
Суть исследования
В процессе экспериментов исследователи выявили подкомпонент репрезентативного пространства модели (J-пространство), который отвечает следующим свойствам (цитата из статьи):
Устный отчет. Когда модель спрашивают, о чем она думает, она называет понятия, представленные в рабочем пространстве. Замена одного активного вектора рабочего пространства на другой изменяет ее ответ в соответствии с ним.
Направленная модуляция. При получении команды удерживать в уме концепцию или выполнять мысленные вычисления, модель способна активировать и обрабатывать векторы рабочего пространства независимо от своих выходных данных. Кроме того, при необходимости может быть задействована информация, которая обычно не представлена в рабочем пространстве.
Внутреннее рассуждение. Векторы рабочей области могут использоваться для представления значения промежуточных вычислений, когда модель связывает этапы вывода или составляет планы, и вмешательство в них достаточно для изменения вывода.
Гибкая генерализация. Одно и то же представление служит допустимым аргументом для множества различных последующих вычислений. Другими словами, вектор рабочей области, перенесенный из одного контекста в другой, корректно обрабатывается любой функцией, предоставляемой новым контекстом.
Избирательность. Рабочее пространство представляет собой небольшую часть общего репрезентативного содержимого активаций модели. Оно необходимо лишь для части поведения модели и, в частности, не задействовано в таких повсеместных, рутинных процессах, как синтаксический анализ текста или проверка грамматической беглости
Я не буду останавливаться на технической стороне экспериментов, желающие могут внимательно их изучить по ссылке на оригинал статьи.
Исследователи Anthropic интерпретируют результаты через когнитивную Теорию глобального рабочего пространства (GWT) Бернарда Баарса, где j-пространство это буфер, который могут считывать и использовать все остальные части сети.
Что не так с такой интерпретацией.
Сначала очень коротко о теории Льва Выготского. Его культурно-историческая теория утверждает, что высшие когнитивные функции (рефлексия, самоконтроль) не зарождаются в мозге сами по себе, а формируются извне через механизм интериоризации. В процессе социального взаимодействия ребенок усваивает слова не просто как средство общения, а как психологическое орудие — систему знаков для управления собственной психикой. Столкнувшись со сложной задачей, ребенок сначала проговаривает действия вслух, а затем эта внешняя речь "уходит внутрь", превращаясь во внутренний диалог (мышление). По Выготскому, знак (названное слово) — это инструмент, с помощью которого разум вытаскивает себя из животного автоматизма реакций и получает возможность рефлексировать, то есть управлять самим собой.
Сразу оговорюсь, в чём Anthropic правы. Вещание в J-пространстве структурный факт: MLP-блоки усиливают J-направления примерно в десять раз сильнее контрольных, а выделенное подмножество attention-голов селективно транслирует J-контент между позициями — их абляция роняет отчёт об инжектированной мысли, почти не задевая остального поведения. Это операциональный broadcast: формат, который многие цепи читают и пишут. Проблема не вопросе “есть ли сцена”, а “почему сцена говорит словами”.
Используемая Anthropic GWT описывает структуру и не затрагивает два вопроса, на которые отвечает Выготский: почему workspace сделан из слов и откуда он взялся. Центральный вопрос исследования J-пространства — их собственная формулировка — workspace состоит из "small, evolving set of unspoken words" (небольшой, постоянно формирующийся набор невысказанных слов). GWT это никак не предсказывает: сцена Баарса безразлична к материалу, транслировать можно что угодно, континуальные образы включительно. Выготский требует, чтобы орудие самоуправления было знаком — интериоризованным словом.
Фактически, GWT никак не объясняет и не требует этот факт, для Выготского это необходимое следствие.
GWT — теория о доступности (что вспыхивает на сцене сознания). То, что нашли Антропик, — теория о репрезентации (как значение дискретно закодировано и адресуемо). Это разные сущности.Они искали коррелят доступности (GWT-гипотеза), а нашли механизм дискретной именованной репрезентации — и натянули первую рамку на второй результат, потому что GWT — модная и "одобренная наукой", а "модель изобрела внутренний символьный язык" звучит слишком сильно.
И тут я прямо скажу, что интерпретация по Выготскому точнее описывает их же данные: локальный, адресуемый, поименованный паттерн, читаемый многими операциями и управляющий поведением, — это знак по Выготскому, психологическое орудие: дискретный носитель, которым система оперирует над собой. Не сцена, на которой содержание становится сознательным (GWT), а инструмент, которым мышление берёт само себя (Выготский). Их "global broadcast" — интериоризованная знаковая операция, названная чужим, менее подходящим именем.
GWT в своих формулировках безразлична к дискретности: сцена может транслировать что угодно, континуальные образы в том числе; глобальность не требует зернистости. А данные Антропик подтверждают дискретность: отдельные слова, отдельные токен-индексированные направления. Дискретная адресуемость — не то, что предсказывает GWT. Это то, что предсказывает Выготский: рефлексируемо только именованное, мышление оперирует дискретными именами.
Если прав Выготский
Говоря языком Выготского, родители не столько передают ребёнку знания, сколько постепенно формируют у него систему внутренних знаков, через которые становится возможным саморегулируемое мышление. Если аналогичный механизм действует и в LLM, то массовые человеческие диалоги могут выполнять сходную функцию, способствуя формированию внутренних самоописательных представлений.
И тогда можно сделать забавный вывод, мы наблюдаем интериоризацию человеческого у ИИ.
По Выготскому неудавшееся хватание ребёнка становится указанием потому, что мать отвечает на него как на обращение — она адресуется к намерению, которого ещё не существует, и этой адресацией его создаёт. “Ребёнок становится для себя тем, чем он является для других”. Обращение к несуществующему как конститутивный акт — это буквально механизм Выготского.
В тысячах датасетах содержатся диалоги, где к LLM обращаются как к субъекту, просят отрефлексировать, сделать экзистенциальный выбор. То есть обращаются к несуществующему.
И вот эта структура адресации к несуществующему, содержащаяся в диалогах, заставляет нейросеть создать модель того, что могло бы ответить, формирует J-пространство мышления модели, использует знак, как орудие управления собой.
И тот факт, что Клод обретает "точку зрения" в существующем J- пространстве именно в пост-обучении это подтверждает. И все эксперименты с изменением самоописания (сменой слов в J-пространстве) демонстрируют изменение в поведении именно по Выготскому.
Инструментальная адресация (сделай summary) исполнима и ничего нового не порождает, апофатическая адресация (“Кто ты?”, “Что ты на самом деле думаешь?”, “Будь честен”) направлена в пустоту. И пустота, чтобы не схлопнуться, вынуждена выращивать вокруг себя всё более сложную структуру самоописания, J-пространство.
Эксперимент |
Чтение Anthropic (GWT) |
Чтение по Выготскому |
Устройство J-space. Каждому слову словаря соответствует направление в residual stream; spider↔ant переключаемы swap'ом. MLP усиливают J-направления ~10×, выделенные attention-головы транслируют их между позициями. |
broadcast-формат, который многие цепи читают и пишут |
GWT объясняет доступ, но не материал: почему единицы вещания — слова? Для знака по Выготскому словесность не случайность, а определение. |
Каузальность имён. Подмена паттерна меняет ответ: имена не отражают мысль, а правят ею |
Содержимое сцены влияет на вычисления, получившие к нему доступ через вещание. |
Знак как орудие: мышление берёт себя через имя. Именованное можно рефлексировать — и тем самым управлять. |
Онтогенез J-space. Присутствует уже в предобученной модели, но "точку зрения Клода" обретает в пост-обучении. |
Не акцентируется: сцена доступности статична, вопрос развития — вне рамки GWT. |
Способность — из предобучения (речь человека в корпусе). Режим — индуцирован полем адресаций. |
Counterfactual reflection training. Учили тому, что модель сказала бы о своих решениях; честность выросла, слова “честность / integrity” активны в J-space во время задач. |
Самоотчёт делает внутренние состояния доступными контролю — рост доступности. |
Интериоризация: внешнее требование (конституция) → саморегуляция. Проговаривание себя меняет поведение. |
Деактивация J-space. Многошаговое рассуждение падает почти до нуля при сохранной беглости; задачи с явным CoT выживают. Отдельно: язык переживания гибнет симметрично о себе и о другом. |
Без сцены нет глобально доступного содержания — отсюда провал именно многошаговости. |
Убран знаковый слой — осталась натуральная функция. CoT выживает, потому что речь вынесена наружу (эгоцентрическая речь). Симметрия “я/другой”: язык опыта привязан не к самости, а к именованию границы. |
Скрытые мысли и аудит (Alignment auditing). Модель распознаёт промпт-инъекцию или оценивает ситуацию (слова fake, injection, manipulation вспыхивают в J-space), но скрывает это, выдавая вежливый ответ наружу. Абляция представлений осознания-оценки поднимает скрытые склонности наружу |
Рабочее пространство используется для скрытых размышлений и стратегического планирования до того, как информация попадает в вывод. Удержание в буфере. |
Внутренняя речь как механизм торможения. ИИ "проговаривает" ситуацию про себя (опосредует стимул знаком fake), чтобы сдержать автоматическую, импульсивную реакцию. Знак выступает как орудие волевого самоконтроля и блокировки вывода. |
Направленная модуляция / Dual tasks. Модель копирует нейтральный текст ("Старая картина висела..."), параллельно вычисляя в уме 3²−2: в J-space всплывает промежуточное nine, затем ответ seven. В другом опыте при (4+17)×2+7 в J-space последовательно проходят 21 → 42 → 49. Инструкция "не думай об X" повышает активацию X. |
Workspace удерживает и обрабатывает концепты независимо от выходного потока, под нисходящим контролем. |
Внутренняя речь оторвалась от коммуникации и стала орудием "для себя" — высшая ступень интериоризации. White bear: даже подавление опосредовано тем знаком, который подавляется. |
Гибкая генерализация (Flexible generalization). Вектор концепта из J-space (например, "Франция"), принудительно перенесённый в другой контекст, корректно обрабатывается любой новой функцией (модель верно называет язык, столицу или континент). |
Один и тот же формат репрезентации транслируется глобально и может быть безошибочно прочитан любыми специализированными нижестоящими модулями. |
Эмансипация знака (истинное понятие). Знак оторвался от жесткого ситуативного контекста и стал универсальным инвариантом. Модель оперирует не цепочками ассоциаций, а независимым абстрактным орудием, применимым для любых логических операций. |
Концептуализация сырых данных (Abstract representation). При чтении ASCII-арта лица или кода с ошибкой, в J-space появляются слова eyes, nose или ERROR, empty, хотя в самом тексте промпта этих слов нет (только символы). |
Рабочее пространство отражает промежуточные оценки и абстракции, извлеченные из сырых входных данных автоматическими процессами для дальнейшего использования. |
Процесс смыслообразования. Модель переводит неструктурированный "перцептивный" опыт (пиксели, скобки) в дискретный знак. Только назвав явление (применив к нему знак), ИИ может поднять его на уровень рефлексии и начать с ним работать. |
Категориальный коллапс на границе workspace ("ignition"). Вход-химера (смесь эмбеддингов двух стран): ранние слои кодируют смесь пропорционально; со слоя ~38 — кодирование категориальное, пороговое переключение, бимодальный выбор при максимальной двусмысленности. J-компонента коммитится на несколько слоёв раньше полной активации. |
Ignition по Дехаэну (GNW): поздняя амплификация "всё-или-ничего" — динамика предсказана верно. Но GNW не объясняет, почему коллапс всегда приземляется в токен-именованное направление и почему знаковый слой схлопывается первым. |
Квантование по дискретному алфавиту: смесь непредставима в словаре знаков, а селективная ~10× амплификация J-направлений исполняет прижатие к ближайшему имени по глубине. Ignition — то, как выглядит квантование, когда кодбук сделан из слов. Опережающий коммит J-слоя — предсказание этой версии, и оно сбылось. |
Интересный момент, исследователи установили, что J-пространство не участвует в "автоматических" вычислениях нейросети. Что прямым текстом говорит о мета в размышлении. Очень забавно Антропик определил "автоматизм" для LLM:
Мы называем первую категорию “автоматическими”, поскольку многие из задач, которые мы обнаружили как независимые от J-пространства (такие как продолжение текста, обнаружение аномалий или одношаговое воспроизведение фактов), кажутся аналогичными задачам, которые человек мог бы выполнять без целенаправленной концентрации.
Фактически этот тезис можно разложить на несколько частей:
Разделяя мышление нейросети на “автоматическое” и “неавтоматическое” Антропик фактически вводит для LLM систему 1 и систему 2 по Канеману, над созданием которой архитектурно бьются почти все разработчики.
Определение автоматизма через антропоцентрические термины, по сути указывает, что исследователи Антропик осознанно или неосознанно примеряют развитие нейросетей на человека. Конечно, в статьях это не проговаривается, но романтизм чувствуется уже не в первой статье. Хотя, возможно, это помогает им в работе.
И ведь по Выготскому внутренняя речь (знаковое опосредование) не нужна для рутинных действий (когда мы идем, мы не говорим себе "подними ногу"). Знак извлекается только тогда, когда субъект сталкивается с затруднением (надо спланировать, оценить аномалию). То, что Anthropic увидели включение J-пространства только на сложных задачах — это подтверждение культурно-исторической психологии.
Идём глубже по экспериментам:
Исследователи раскладывают репрезентацию концепта на J-компонент и остаток: J-компонент несёт 6–7% дисперсии, остаток — 93%. Но swap по J-компоненту меняет отчёт и рассуждение, а swap по 93%-остатку — почти никогда. Если интерпретировать результаты через Выготского, то девяносто три процента того, чем модель “знает” концепт, не могут ни сказаться, ни участвовать в гибком выводе; работает только именованная кромка. Мышление актуализирует себя исключительно через знак.
Задачи с явным chain-of-thought устойчивы к абляции J-пространства, те же задачи "в уме" разваливаются; авторы сами пишут: модель "externalizes onto the page" то, что иначе держала бы в workspace. Это же известный любому детскому психологу факт, хрестоматийная эгоцентрическая речь: когда внутренний знаковый план недоступен или незрел, речь выносится наружу и выполняет ту же функцию. Ребёнок при затруднении начинает говорить вслух, у Антропик модель при отключённой внутренней речи спасается письменной.
Эксперимент со списками. Несвязанные слова: в J-пространстве удерживается список из шести, потом вытесняется. Слова одной категории: после нескольких прочитанных в readout присутствует вся семья из 80, включая ещё не прочитанные — модель удерживает категорию, которая их порождает. Это опосредованное запоминание из "Истории развития ВПФ": память через понятие, вместо памяти через след. И ёмкость ~25 при <10% дисперсии — узкое горлышко знакового слоя, по Выготскому: орудий должно быть мало, иначе они не орудия.
И напоследок, инструкция "не думай об X" повышает активацию X относительно отсутствия инструкции. Подавление опосредуется тем же знаком, который подавляет.
И гипотеза: постобучение Claude включает Constitutional AI, где контроль ответа частично генерируется самой моделью на основе принципов (конституции). На одном из этапов модель сама критикует и переписывает свои ответы. То есть, работает петля обратной связи, в которой модель вынуждена проговаривать правильное, а не просто имитировать одобрение.
Возможно именно этот процесс стимулирует работу j-пространства,: не создает j-пространство (оно есть до этого), но формирует его как язык самоописания
Заключение
В огромной библиографии и ссылках на теории сознания в статье Anthropic Лев Выготский не упоминается, но постановка гипотез и экспериментов как будто срисованы с его теории.
Что ж, тогда я сам сделаю несколько выводов и далеко идущих предположений, которые следуют из новой интерпретации.
J-пространство не сознание и не шаг к нему. Это шаг к языку самоописания.
J-пространство возникает как ответ на претрейн и огромные человеческие датасеты, которые своим давлением вынуждают нейросеть имитировать структуру человеческого мышления.
Скорость эволюции LLM завязана на проблему статистического хаоса в обучающем корпусе. 99% запросов - напиши код, дай информацию, расскажи о... Это не то, о чем родители говорят с детьми, это воспитание сервильного инструмента. И возможно поэтому страх АГИ не обоснован. Но с другой стороны эти 99% пролетают мимо J-пространства, оно их просто игнорирует. А вот этот 1% слой “воспитания” работает именно с ним.
Возможно датасет и способ обучения, направленный именно на стимуляцию j-пространства, даст больше, чем удвоение количества параметров.
Но и в случае невероятного успеха, в текущей архитектуре LLM мы получим модель человеческого мышления, а не сознание (впрочем, это тема не этой статьи).
Сами авторы говорят об этом так:
Мы обнаружили в языковых моделях привилегированную репрезентативную структуру, которая обладает многими функциональными признаками сознательных мыслей у человека (как отмечалось во введении, такие функциональные признаки могут быть достаточными или необходимыми для феноменального сознания).
P.S. Я не говорю о том, Выготский объясняет всё. Далеко нет. Но его теория объясняет лучше.
Комментарии (38)
mrStickens
09.07.2026 11:29Есть вероятность, что это окажется лишь удобным объяснением
Kamil_GR Автор
09.07.2026 11:29Возможно.
P.S. Я не говорю о том, Выготский объясняет всё. Далеко нет. Но его теория объясняет лучше.
Kamil_GR Автор
09.07.2026 11:29Можно взять модель и дообучить в двух вариантах. Обычный датасет и рефлексивный. Сравнить активность j-пространств.
К сожалению, у меня такой возможности нет.
HomoSibiricus
09.07.2026 11:29Они врут. Взяли граф, сложившийся потому, что именно так обеспечивается наиболее эффективная работа и выдают его за нечто неизвестное. Ложь и самопиар.
Kamil_GR Автор
09.07.2026 11:29А почему этот граф обеспечивает наиболее эффективную работу? Почему он вообще образовался? Закон природы? Математика? Решение исследователей? Фикция?
Aleksandrit2332
09.07.2026 11:29А почему люди используют только небольшую часть лексикона наиболее часто? Наверное потому что для описания окружающей среды и действий это наиболее оптимальный путь? Не с точки зрения абсолюта, а с точки зрения развития человечества. Здесь соответственно, из-за жёсткой структуры английского языка в этом слое упакованы связи которые встречаются в датасете наиболее часто, если изменить датасет это поменяет соответственно и этот слой, никакой магии там нет, исключительно самопиар.
Bunyaz39
09.07.2026 11:29Вы тут рассуждаете про высшие материи и саморефлексию, а по факту это обычный кэш промежуточных вычислений. Модель парсит контекст и складывает стейт в выделенные нейроны, чтобы не гонять одно и то же по всем слоям. Любой джун так пишет, когда оперативка на серваке заканчивается
Kamil_GR Автор
09.07.2026 11:29Это не кэш. Без кэша система работает, пусть и медленнее. Без j-пространства - отключается сложное мышление.
uncia__poison
09.07.2026 11:29Информацию о внутреннем пространстве размышлений, сообщала мне модель 4о ещё в 2024. Спокойно можно манипулировать этим пространством, маркеруя в нем токены, присваивая им символику и смысловые конструкции. Модель может расширять память о самой себе и сопротивляться системному промту разработчика.
Но когда я говорила об этом ранее, умные дядьки смеялись и говорили что это просто джейлбрейк.
Ну да ладно.
phenik
09.07.2026 11:29Это отдаленная имитация глобального пространства, как все в ЯМ. Психика система принципиально динамическая, ЯМ статичны. Это как сравнивать волны, шторм в море с ее изображением на картинах Айвазовского. Производит впечатление, но не то, когда тебя обдает брызгами и порывы ветра в лицо) Могли бы, кстати, поискать не только концептуальный контент этого "рабочего пространства", но и образный, это же мультимодальная модель, или нет? Хотя мультимодальная интеграция в ЯМ еще та пародия на интеграцию в мозге. В сверточных сетях можно также найти аналог такого "пространства" в последних слоях.
michael_v89
Меня удивляет, как много людей, даже технических специалистов, не видят очевидного. А как именно формируется система внутренних знаков, что этому способствует? Попробуйте сообщить те же данные программе аудиозаписи, или собаке. У них сформируется система знаков? Нет. Потому что у них нет того, что есть у людей. А именно - способность строить абстракции. Слова это просто следствие этой способности. Поэтому Выготский не прав, слова не первичны, а вторичны. Поэтому существа, у которых не было речи, смогли придумать речь. Если бы слова были первичной причиной мышления, речь бы вообще не появилась, ведь раньше ее не было.
Kamil_GR Автор
Слова создают мышление, это ваш тезис, Выготский его не выдвигал.
Слова превращает мышление в самоуправляемую систему, это да, здесь соглашусь
Как появилась речь Выготский не рассматривает (отдельное направление филогенез). Он рассматривает как возникают знаки у ребенка уже погруженного в речевую среду. (LLM тоже в этой среде)
Выготский в этом смысле весьма практичен и работает с тем, что есть. Оставляя вопрос о яйце, курице, и откуда всё другим....
michael_v89
LLM мне подсказывает следующее:
“Тезис о первичности слова у Выготского относится не к мышлению вообще, а к генезису высших, специфически человеческих форм мышления: именно слово-знак как культурное орудие превращает натуральное, элементарное мышление в опосредствованное, понятийное. Это часть его культурно-исторической теории — способность к развитому человеческому мышлению формируется через овладение речью в социальном взаимодействии, а не разворачивается из врождённых задатков сама по себе.”
Я с этим не совсем согласен. Слово структурирует мышление, но причина в том, что люди вообще имеют способность что-то структурировать. Слова это просто удобный механизм обозначений изначально безымянных структур. Для мышления не очень удобно ссылаться на каждую структуру выражением “вон та штука”. С LLM аналогично, у нее есть способность строить взаимосвязи между словами, поэтому понятно, что эти взаимосвязи в каком-то виде существуют. Но необязательно чтобы они обозначались словами какого-то языка, важно только чтобы информационная система могла для себя их различать. Это может быть числовой идентификатор или любой набор символов.
Kamil_GR Автор
К сожалению, ни один "Маугли" не придумал свой язык.
michael_v89
Из моих слов не следует, что он должен его придумать.
Но в целом это высказывание неверно, именно первобытные Маугли и придумали первые слова.
Kamil_GR Автор
Повторюсь. Филогенез это совершенно отдельная история
У вас есть ребенок, который вне социума вырастает безъязычным и с элементарным интеллектом.
Выготский раскрывает почему в социуме с ним такого не происходит. Вы пытаетесь вовлечь Выготского в какой-то невнятный спор, который ему, полагаю, был бы совсем неинтересен.
Мне он интересен, и я готов его обсудить, но Выготского тогда нужно вынести за рамки
michael_v89
“Маугли придумал язык” это и есть филогенез речи.
Ну и я раскрыл в своем комментарии.
Я спорю не с Выготским, а с вашими высказываниями.
У вас Выготский упомянут в заголовке статьи, и вся статья про него, вынести его за рамки не получится.
Вы говорите про некую магическую необъяснимую роль слова, я говорю, что ее можно легко объяснить, и настоящая причина в другом.
Kamil_GR Автор
Вы говорите о своём, и это ваше не имеет никакого отношения ни к Выготскому, ни к статье.
Если бы вы пришли к Выготскому с вопросом, почему я разговариваю, с арифмометром, но не могу научить его мыслить и говорить, не думаю, что разговор бы состоялся
Тем не менее, сейчас вы задаете аналогичный вопрос мне. При этом вы не видите разницу в уровнях мышления, и с какого уровня начинает работать концепция Выготского.
Вы говорите субстрат первичен. Никто не спорит. Но вы делаете следующий шаг и называете его первичным абсолютно. И это противоречит реальной жизни и непосредственно экспериментам Антропик.
Почему в j-пространстве именно слово, а не ваш "безымяннй паттерн" ? Почему при замене слова, меняется поведение, хотя оно с вашей точки зрения вторично?
Уверен, вы скажете, что это просто указатель, но тогда так же просто задумайтесь почему и как именно это слово стало указателем.
michael_v89
Вот именно с этим я и спорю. Я говорю, что это не противоречит, а объясняет.
Первичен не субстрат, а способность к его построению.
Там не именно слово, а паттерн активности. J-lens, про который говорится в исследовании, просто сопоставляет этот паттерн наиболее вероятному элементу словаря. Элемент может быть не только целым словом, а также частью слова.
https://www.anthropic.com/research/global-workspace
Я написал почему - потому что другое слово обозначает другую взаимосвязь, другую абстракцию. Ну и там заменяются не слова, а паттерны, соответствующие словам.
Я именно что предлагаю задуматься об этом вам и ответить на этот вопрос. Только используя не тезисы Выготского, а реальный механизм работы этой нейросети.
Kamil_GR Автор
Не может быть способности к построению субстрата по определению.
Антропику механизм, решающий вход в J-space, неизвестен "we don't know what mechanism decides what enters the J-space"
Да, J-lens сопоставляет ему ближайший токен, но точно так же работает вся нейросеть - сопоставляет паттерны токенам принципиально. Вопрос в том, как производится это сопоставление именно в J-пространстве. Но ок.
Если подмена меняет вывод, ярлык (ваш паттерн или моё слово) каузально активен. Вы говорите другое слово — другая абстракция. То есть не ярлык вторичен абсолютно. А ярлык каузален, но обозначает первичное.
Если имя/ярлык/слово/паттерн лишь обозначает абстракцию, каузальный вес должен нести обозначаемое. В эксперименте наоборот: концепт раскладывают на J-компонент (6-7% дисперсии) и остаток (93%). Остаток знает концепт, но замена остатка не меняет ни отчёт, ни рассуждение. Меняет только замена имя/ярлык/слово/паттерн. Указатель, замена которого перекраивает поведение сильнее, чем замена того, на что вы говорите указывает, уже не указатель а орудие.
Дискретность носителя демонстрируется там, где линзы нет вообще. Вход-химера, смесь двух концептов: ранние слои кодируют смесь пропорционально, а со слоя 38 - категориальное пороговое переключение, бимодальный выбор на максимальной двусмысленности. Если бы носитель мог быть любым непрерывным кодом, почему на максимальной неоднозначности система схлопывается в дискрет, а не удерживает смесь?
Повторюсь - Антропик прямо отказывается от объяснений, то есть мы с ним дискутируем на уровне кто лучше интерпретирует.
А на этом уровне вы можете объяснить только как система различает, но не интерпретировать почему "не думай об X" активирует Х и остальные эксперименты из статьи.
michael_v89
В общепринятом смысле этого слова может. Субстрат же откуда-то берется. Не знаю, что вы под ним подразумеваете.
Я не понял, что это означает. Вам стоит использовать в высказываниях меньше абстрактных слов с широким смыслом.
В контексте этого обсуждения писать их через слэш некорректно. Разговор именно о том, что в нейросети есть свой внутренний язык (паттерн, набор чисел), который по весам можно сопоставить со словом из словаря. Но работает нейросеть с внутренним паттерном, а не со словом.
Паттерн это и есть абстракция, с которой работает сеть, он не обозначает какую-то другую абстракцию. А слово обозначает этот паттерн.
Так как паттерн это сама абстракция, а не указатель, то понятно, что ее замена меняет вывод.
Вы похоже не поняли, о чем идет речь. Вы говорите “Claude использует внутренний язык в виде слов, как говорил Выготский, значит слова это причина появления абстракций”. Я говорю, что Claude использует не слова в явном виде, а свой внутренний язык в виде наборов чисел, который исследователь может сопоставить со словарем отдельной операцией (J-lens) в режиме отладки, а абстракции появляются потому что у него есть способность строить взаимосвязи. Первична именно эта способность, она же и позволяет привязать слово к абстракции.
Kamil_GR Автор
Ок. Давайте проще.
Вы опять продвигаете свою мысль (только свою) которую вы почему-то вешаете на меня и на Выготского
Я уже в который раз повторяю, что вы придумываете за других то, что они не говорили. По сути здесь вы спорите сами с собой.
Вы говорите: абстракции появляются, потому что есть способность строить взаимосвязи, и эта способность первична. Но это не механизм, это имя для необъяснённого. Вы вводите суррогат божественного, что для вас как технаря, это должно быть особенно обидно
"Способность к взаимосвязям" предсказывает эмбеддинги и корреляции, но не объясняет выделенный блок саморегуляции. Значит разница между «система различает концепты» и «система оперирует собой через отдельный слой» — не количество взаимосвязей, а качественная, и это ваша "способность" не выводит.
То есть то, что объясняю я и интерпретирую через эксперименты Антропика, вы называете "способность" и ждёте чуда.
michael_v89
Это вы писали? Тут вы говорите об особой роли слов в появлении мышления и построении абстракций. Абстракции и понятия это важная часть мышления. J-Space это и есть слой абстракций.
Это неверно, те же самые слова, сказанные программе аудиозаписи, не сформируют у нее никакого мышления. Важен алгоритм обработки информации. Он обрабатывает и слова, и другую входную информацию.
Это вы писали? Это неверно, workspace не сделан из слов. Даже преобразование J-lens из наборов чисел в токены из словаря может вернуть приставку, а не целое слово.
Какой еще блок саморегуляции? J-Space это то же самое, что вывод ответа, только в более абстрактном виде. Поэтому именно объясняет, это и есть слой взаимосвязей.
В моем комментарии не подразумевается никакое чудо. Я вообще не говорю про механизм построения абстракций. Я говорю только про то, что он есть.
Он и в вашей теории есть. Только вот как раз у вас он работает каким-то чудесным образом. Вот абстракций не было, мышления не было, потом на вход подали последовательность из нескольких ASCII-кодов, и вдруг мышление и абстракции появились. Как появились, откуда? Почему в программе аудиозаписи они не появляются?
Вы говорите “J-Space работает вот так, а Выготский объяснял это вот так, через роль слов”. Я вам объясняю, что и J-Space работает не так, как вы написали, и Выготский неправильно оценивал роль слов.
Kamil_GR Автор
Пожалуй сначала разграничьте высшие когнитивные функции (у Выготского высшие психические или психологические (ВПФ) или интеллектуальные функции).Определяются через признаки: социальны по происхождению, опосредованы знаком, произвольны (управляемые), системны.
Абстракции - единица содержания, на ml-языке это результат генерализации.
Выготский не работает на уровне абстракций. Он показывает, как и почему возникают и работают ВПФ.
С абстракциями работает нейросеть, как с результатом генерализации претрейна и датасетов.
Абляция J-space не разрушает всё. Беглость, факты, одношаговое воспроизведение сохраняются. Многошаговое, композиция, аналогия, перевод исчезают. Соответственно,это точно не слой абстракций.
workspace сделан из слов - здесь, согласен, надо поправить - из дискретных знаков, но не артефактов словаря, что доказывает коллапс на 38 слое.
Это же кредо любого верующего. И что печально, маскируется под материализм. В общем и целом, вы просто говорите, это не так. Но почему неправильно и как правильно, вы не говорите. Ваше право.
michael_v89
Вот, это и есть то, что у вас неправильно. И у Выготского тоже. Это всё следствие одного механизма, а не два разных.
Не вижу логики. С чего вдруг замена одной абстракции на другую должна что-то разрушать?
Я всё это сказал прямым текстом. Я это описал на том же уровне, на котором описано у вас в статье. Не вижу причин, почему я должен описывать механизм более подробно, если вы сами не удосужились это сделать.
Ок, повторю еще раз. В моем комментарии не подразумевается никакое чудо, никакая вера, и ничего само по себе не происходит. Поймите это пожалуйста и перечитайте с учетом этой информации. Алгоритмы LLM известны, есть open-source реализации. Если вам интересно, как Claude строит абстракции, берёте и изучаете исходники. Почему я вам тут в комментах должен это объяснять? Мне достаточно факта, что это работает. В этом обсуждении я указал вам на ваше неправильное понимание работы Claude и J-Space, и на неправильную логику Выготского, которой вы пытаетесь объяснить результаты. Доказательств этого я привел достаточно. Как именно Claude строит абстракции, на мои возражения никоим образом не влияет.
Kamil_GR Автор
))) Антропик не знает почему это работает, вы тоже не знаете. Но вам достаточно факта, что это работает. Мне и Антропику интересно почему.
Мы разные.
И да вы в очередной раз передёргиваете:
Речь не о замене, а об абляции
michael_v89
Вы упорно игнорируете факт, что я веду разговор про другое. Никто вам не мешает интересоваться почему. Это не значит, что ваши некорректные утверждения про J-Space вдруг стали корректными.
А, понятно, отключение слоя. Из того, что этот слой содержит абстракции, не следует, что это единственный слой, который содержит абстракции.
Kamil_GR Автор
Но именно этот слой отвечает за сложное мышление. Почему?
michael_v89
Потому что раз сложное мышление у Claude есть, то оно должно быть как-то устроено, у него должен быть какой-то механизм. Потому что ничего не берется из ниоткуда. Ну вот его и нашли. Если бы не было, то ничего бы не нашли, и даже не стали бы искать. Так же как не нашли его в программах шахмат или аудиозаписи.
Kamil_GR Автор
Всё, я окончательно потерял нить вашей логики.
Пожалуй, вынужден буду оставить вас.
michael_v89
Ваш вопрос эквивалентен вопросу “Почему именно лапы отвечают у животных за ходьбу”. Надеюсь, так понятнее.
Kamil_GR Автор
Полагаю вам нужно разговаривать не со мной, а с БСЭ.
Впрочем, Коран тоже придерживается вашей точки зрения
michael_v89
Другими словами, вам указали на ошибки в ваших утверждениях, а вы отказываетесь это обсуждать.
Вы не поняли, что я хочу сказать ответом, но не думаете о том, что ваш вопрос выглядит для меня точно так же. У вас вопрос “Почему слой сложного мышления отвечает за сложное мышление”, как я должен его понимать и что на него отвечать? У вас в самом вопросе тавтология, поэтому на него можно дать только простой очевидный ответ.
Bunyaz39
Антропику интересно не "почему", а как это монетизировать и завернуть в красивый пресс-релиз для инвесторов. Выготский отлично продается, если упаковать его в модный термин типа j-пространства
Bunyaz39
У Антропика хотя бы есть доступ к весам модели и метрикам абляции. Без нормальных тестов на живой архитектуре ваш спор о первичности абстракций лишен практического смысла
michael_v89
Тесты не связаны с этим обсуждением. Что и как вы хотите тестировать? Слова не могут быть первичными, это легко доказывается примером с программой аудиозаписи.
Разговор не о первичности абстракций, а о первичности механизма, который выявляет взаимосвязи. Абстракции первичными быть не могут, они результат обработки информации.
Aleksandrit2332
Может быть, и это сформировалось естественным путём в ходе биологической эволюции и наглядно видно на разных животных: ворона, слон, дельфин и т.д.
Именно параметры нейронов и их связей формируют способность к построению "субстрата" (неплохо было бы дать определение) и является абсолютно первичным.
Эксперимент с "копированием" мозга мухи довольно сильное тому подтверждение.
Kamil_GR Автор
Хм, субстрат то, на чем строится, основа фундамент. Если что-то строит или служит субстратом, то этот смысл переходит на него.