Первый обучаемый нейронный reasoner поверх Vector-Symbolic Architecture. 90% exact multi-hop QA в среднем (100% на 1-2 hop, 70% на 3-hop). 16 КБ тернарный резонатор. Всё на CPU, ни одного GPU.
Вступление: как VSA меня разочаровал
VSA (Vector-Symbolic Architecture) существует с 1988 года. Идея красивая: кодируем факты векторами, связываем (bind) и складываем (bundle). Потом распаковываем. Никакого обучения, никакого backprop. Просто линейная алгебра.
Я долго на это смотрел и думал: вот же идеальный движок для reasoning на микроконтроллере. Ни LLM, ни GPU. 1024 числа - и у тебя база знаний.
Но когда собрал бенчмарк, меня ждал холодный душ.
При 96 фактах VSA отвечает правильно на 30% многошаговых вопросов. Одношаговые - 90%, норм. Двухшаговые - 0%. Трёхшаговые - 0%. Вообще ноль. Причина - шум суперпозиции: каждый новый факт зашумляет все предыдущие.
Я перепроверил на размерностях 1024, 2048, 4096, 8192. Результат одинаковый. Потому что шум не зависит от D - он растёт с количеством фактов, а не с размерностью.
И знаете что? Все существующие решения - алгоритмические. Kanerva 1988, Plate 2003, Frady 2021. Никто не пробовал просто взять и научить VSA убирать шум.
Ну я и решил попробовать.
Проблема: шум, который не лечится размерностью
Математика простая. Когда делаем bundle из N фактов, unbind возвращает сумму целевого сигнала и шума от остальных N-1 фактов. При N > 12 шум перебивает сигнал. Увеличить D вдвое - шум снизится на sqrt(2). Бесполезно.
Фундаментальное ограничение. Либо храним <12 фактов на вектор (и тогда надо много векторов), либо нужен cleanup - процедура, которая из зашумлённого вектора восстанавливает ближайший чистый.
В литературе cleanup делается через resonator networks (Frady 2021). Но resonator тоже алгоритмический, не обучаемый. Он не отличает реальную корреляцию от случайной.
Так родилась идея: взять resonator, сделать его нейросетью и обучить на контрастивных примерах.
TernaT: три компонента
PredicateShardedStore. Вместо 96 фактов в один вектор - группировка по предикатам. Факты про “где живёт” в один шард, про “что ест” - в другой. На каждом шарде ~12 фактов - ровно столько, сколько VSA переваривает без потери качества. Шум суперпозиции упал в 8 раз. Просто за счёт группировки.
GraphKANResonator (16 КБ). Тернарный {-1, 0, +1} cleanup, обученный убирать шум VSA. 65 536 параметров. Пять циклов итеративного уточнения. 1.1 мс на CPU. Ключевой трюк - negative training: подаю resonator-у не только правильные факты, но и шумные варианты. False positive rate упал с 1.3% до 0%.
FastController + ChainScorer. Это уже не VSA, а MLP/Transformer. FastController получает (entity, goal) и предсказывает следующий предикат. ChainScorer оценивает цепочки в beam search. В сумме ~1 МБ в int8.
Float32 controller в 400 раз быстрее ternary
Когда делал controller на GraphKAN (тернарный, графовый), обучение 200 эпох занимало 130 секунд. Почему? Потому что cyclic graph execution не batch-ится на GPU. Каждый edge - отдельный проход. Нет параллелизма.
Переписал controller на float32 MLP - 624 тысячи параметров, тривиальный прямой проход. 200 эпох за 0.3 секунды. В 400 раз быстрее. Точность: 100% на train, 90% на inference.
Мораль: ternary - не панацея. Там, где данные плотные и батчатся, float32 побеждает. А ternary нужен там, где каждый байт на вес золота: на MCU, в резонаторах, в edge-сенсорах.
NL parser v2: гибрид regex + нейросеть
Первая версия имела 12 regex-паттернов и пропускала половину вопросов. Пользователь спрашивает “сколько ног у кота?” - а парсер не понимает.
Вторая версия: 50+ паттернов, word-level эвристики (фаза 4) и NeuralParser fallback (фаза 5). NeuralParser - крошечная сетка: Embedding(127) -> Linear -> ReLU -> два heads. Обучена на 190 сэмплах, сгенерированных через NVIDIA NIM (DiffusionGemma). На тесте 10/10.
Гибридная схема: regex берёт 80% простых запросов, эвристики - ещё 10%, нейросеть - оставшиеся 10% сложных случаев. Всё <1 мс на CPU.
Результаты
96 фактов, 53 сущности, 30 тестовых запросов.
Метод |
Overall |
1-hop |
2-hop |
3-hop |
|---|---|---|---|---|
VSA direct query |
30% |
90% |
0% |
0% |
Resonator only |
30% |
90% |
0% |
0% |
Controller + Resonator |
73% |
80% |
60% |
80% |
TernaT (full) |
90% |
100% |
100% |
70% |
Чистый VSA - 30%. Контроллер + резонатор - 73%. TernaT целиком - 90%. Трёхшаговые - сложнее всего. 70% вместо 100%. Но это best-in-class среди VSA-решений: до нас multi-hop VSA вообще не существовало.
Размеры
Компонент |
Параметры |
Тип |
Размер |
|---|---|---|---|
GraphKANResonator |
65 536 |
ternary |
16 КБ |
FastController |
624 264 |
int8 |
~610 КБ |
ChainScorer |
471 553 |
int8 |
~461 КБ |
VSA Memory (96 фактов, D=1024) |
- |
- |
~44 КБ |
NL Parser |
- |
- |
<1 КБ |
Итого |
~1.1 МБ (int8) |
Резонатор 16 КБ влезает в любой Cortex-M0+ за $0.50. Полный пайплайн — в ESP32-S3 (512 КБ — 16 МБ flash) или Cortex-M7.
Ограничения (честно)
70% на 3-hop - это не 100%. Chain-of-thought накапливает ошибку на каждом шаге. Beam search шириной 3 помогает, но не идеально.
NL парсер знает 53 сущности. Если пользователь спросит про незнакомую сущность, NeuralParser выдаст ближайшую. Может быть мимо.
190 сэмплов для нейросети - капля в море. 10/10 на тесте - хорошо, на реальных данных accuracy упадёт. Нужно 1000+.
Это research, не продакшен. TernaT отвечает на вопросы из фиксированной базы знаний. Это не замена LLM. Это альтернатива для задач, где LLM не помещается или не нужна.
Итог
VSA, который 38 лет был красивой теорией, наконец-то получил обучаемый cleanup. 90% multi-hop QA на ~1.1 МБ в int8. Работает на CPU. Ни LLM, ни GPU.
Резонатор - 16 КБ. Микроконтроллер - $0.50. Результат - 100% на простые вопросы и 70% на сложные.
Дело не в абсолютных цифрах. SOTA по QA будет меняться каждый месяц. А 16 КБ - это размер, который не зависит от прогресса GPU. Это инференс без электричества от розетки. Это модель, которая работает там, куда LLM не залезет - внутри браслета, в датчике трубы, на чипе за 36 рублей.
И главное: обучаемый. В отличие от всех VSA-решений до нас.
Ссылки:
Сайт TernaT: https://fakeonomics.github.io/TernaT-overview/
TernML (multi-architecture framework): https://fakeonomics.github.io/TernML-overview/
Zenodo TernaT paper: https://doi.org/10.5281/zenodo.20752580
Zenodo TernML paper: https://doi.org/10.5281/zenodo.20752769
Предыдущий пост про GraphKAN: https://habr.com/ru/articles/1049822/
Предыдущий пост про TernML: https://habr.com/ru/articles/1049940/
Комментарии (10)
AleGen
22.06.2026 15:52Ничего не понятно, но очень интересно.
Выглядит, как нечто очень перспективное, но неясно, где и как использовать. Да, я увидел, что можно на контроллерах, и это - огромный плюс! Но что сделать-то можно? Статья слишком академическая, похожа на результат исследований для научных умов, но никак не для привлечения к технологии практиков-обывателей.
Вот, например, я - разработчик, занимающийся ПО для фрезерных ЧПУ-станков - прошивка и SketchUp-плагин для создания G-кода. Меня совсем не интересуют датчики давления и температуры, меня интересует создание в Скетчапе 3D-модели для резки с нужными размерами и генерация с соответствующими параметрами (ширина резки, глубина резки, количество проходов, скорость подачи) кода для станка из этой модели, а также возможность отслеживать положение фрезы в пространстве относительно ожидаемого (например, чтобы была очевидна потеря шагов на двигателях) в долях миллиметров, и относительно границ стола. Вот хочу я использовать для этого машинное зрение - камеру, но у меня нет на станке GPU. Как можно использовать данную технологию?
Или как можно использовать в написании, например, python-кода (вопрос, интересный ооочень большому количеству аудитории здесь)? LLM справляются, но иногда с ошибками, и требуют многаденяк, либо тупые локально на слабых GPU. А может ли предложить альтернативу ваша разработка?...
starfair
22.06.2026 15:52Это совершенно разные технологии. Машинное зрение априори строится или на разного рода алгоритмах фильтрации (нахождение границ) и выделения типовых контуров, либо на нейронных сетках, обыченных на референсах. А то что пишет автор - это немного иное направление - вывод ответов из исходных наборов вопросов (и набор вопросво не свободный, как при LLM а строго определённый, но достаточно обширный), не используя технологию трансформеров, или более простых ИИ сетей
ENick
22.06.2026 15:52"""отвечает правильно на 30% многошаговых вопросов. Одношаговые - 90%, норм. Двухшаговые - 0%. Трёхшаговые - 0%. """. Поясните арифметику: откуда "правильно на 30% многошаговых" если "Двухшаговые - 0%. Трёхшаговые - 0%. "?
TomskDiver
Приветствую. У вас много терминов и цифр, но я как не спец во всём этом хардкоре хотел бы понять какую задачу решает ваше творение (модель)? Приведите пару примеров из реальной жизни. Из понятного прочёл только: "TernaT отвечает на вопросы из фиксированной базы знаний. Это не замена LLM." Какая база? Какого размера? База из 10 строк с 3 предложениями? Или это три тома Войны и мир? Или это не для текстовых данных а для чего-то другого. Поясните плиз, хотелось бы разобраться.
Fakeonomics Автор
Спс за вопрос
Тут нет базы знаний как таковой есть движок который берёт твои факты и отвечает на вопросы по ним не читает тексты не понимает контекст а просто логически соединяет факты
Пример с завода датчик на насосе мерит вибрацию температуру давление В базу загружаешь правила типа если вибрация больше 5 это опасно Если температура выше 80 нужна остановка TernaT может ответить какая сейчас вибрация а если она вырастет что будет Что сначала проверить Каждый ответ вытекает из факта а не из угадайки как у LLM
Размер базы не ограничен можно 20 фактов про станок можно 20 тысяч про цех Война и мир не загрузишь потому что это не база фактов а текст TernaT не про чтение книг а про чёткие связи сущность свойство значение
Короче это такой логический калькулятор на микроконтроллере за 30 рублей без интернета без GPU LLM рядом не стояла
iliasam
По-моему, похоже на это: https://ru.wikipedia.org/wiki/Экспертная_система
Fakeonomics Автор
Спасибо, присмотрелся.
Мне кажется или вы не читали пост? Там же все расписано.
Экспертная система это когда инженер сидит и пишет 500 if-then правил. А потом приходит новый случай и правила не хватает. TernaT работает иначе.
Controller предсказывает предикат не по правилу, а по обученной матрице 53x4. 624K параметров, 200 эпох, градиент.
Resonator чистит шум не алгоритмически (как Frady 2021), а нейросетью на 65K тернарных параметров. Плюс negative training чтобы false positives были 0%.
ChainScorer оценивает цепочки. Transformer, 2 слоя, 4 головы, 128d. Тоже обученный.
NL parser гибрид: 50+ regex покидали, но потом word-level эвристики и нейросетевой fallback. Не чистая грамматика.
Где тут hand-crafted правила? Их нет. Есть обученные веса, VSA представления и beam search шириной 3.
И да, я знаю что такое экспертная система. MYCIN, DENDRAL, CLIPS проходили. TernaT про другое. Про нейронный reasoning который умещается в Cortex-M0+ и не требует инженера с 500 if-then.
Спасибо за вопрос кстати. Хорошо что люди вчитываются.
iliasam
Я пост читал, но как и комментатор выше, я ничего током из поста не понял.
Можете процитировать ту часть, где описано, как именно в реальности создается эта "обученная матрица"?
"А потом приходит новый случай и правила не хватает. TernaT работает иначе. "
Опять же, хотелось бы увидеть цитаты из поста с примерами, как это работает.
Особенно интересно, как именно микроконтроллер принимает решение в ситуации, когда случай не описан в правилах. В реальной жизни иногда в такой ситуации из-за действий людей-опраторов происходят транспортные и техногенные катастрофы.
Fakeonomics Автор
Про обученную матрицу. Controller это MLP, вход 53 сущности, выход 4 предиката. В посте фраза "Переписал controller на float32 MLP - 624 тысячи параметров, тривиальный прямой проход. 200 эпох за 0.3 секунды". Обучение: берем пары (entity, goal) и правильный предикат, считаем cross-entropy loss, назад через градиент. Всё. Не правила, а веса матрицы после градиентного спуска.
Про решение когда случая нет в правилах. В экспертной системе если нет matching правила, ответа нет. В TernaT если Controller выдаёт распределение вероятностей по 4 предикатам, даже если ни один не "правильный", ChainScorer оценивает цепочки через beam search и выбирает лучшую. Не "я не знаю", а "вот наиболее вероятный путь". В посте: "Beam search шириной 3 помогает, но не идеально". Это не магия. Если похожего случая не было в train set, accuracy будет ниже — на 3-hop как раз 70% вместо 100% на 1-2 hop.
Про цитаты. Весь раздел "TernaT: три компонента" описывает именно как это работает. PredicateShardedStore группирует факты, GraphKANResonator чистит шум через negative training (цитата: "False positive rate упал с 1.3% до 0%"), FastController предсказывает предикат. Если коротко: Controller learned (MLP, backprop), Resonator learned (тернарная нейросеть), ChainScorer learned (Transformer). Ни одного if-then правила в reasoning части
TomskDiver
Спасибо за ответы мне и человеку выше. Нам не надо писать про внутреннее устройство нейросетки. Нам бы что-то про более обывательское. Скажите лучше для примера на чём вы её обучали? Какой датасет, какие данные? Просто сделали трейнсет с какими-то чиселками, разбили его на две части одну для трейна, другую для валидации? И модель угадывала числа? Хотя блин любая нейросеть угадывает чиселки (эмбединги/вектора), но я не знаю как правильно спросить.