1. История
Корпоративная модель ИИ дала негативный отзыв на недавно опубликованную статью:
[1] Vladimirov, V.V. (2026). An additional degree of freedom in the processes of self-organized criticality with violation of causality. Chaos, Solitons & Fractals, 208, 118186.
Ключевая проблема не в том, что ИИ «глупый». Проблема в том, что он обучен на другой парадигме. Вот три фундаментальные причины, почему корпоративный ИИ дал негативный отзыв — и почему это не ошибка, а закономерность.
· ИИ не видит структуру там, где она не выражена в данных
Современные LLM обучены на текстах, которые описывают уже известные паттерны. Статья — о том, как обнаружить новую структуру (гиперболическое пространство, солитон, дополнительную степень свободы), а ИИ не может «увидеть» структуру, которой нет в его обучающей выборке. Он может только распознавать известные паттерны. Это называется иллюзией компетенции — ИИ создаёт впечатление понимания, но на самом деле он просто перекомбинирует известное.
· ИИ не понимает невыпуклость и обусловленность
Градиентный спуск в невыпуклых ландшафтах страдает от плохой обусловленности матриц весов. Число обусловленности (v) — это прямой индикатор этой проблемы. Корпоративный ИИ, обученный на «best practices», не видит ценности в том, чтобы отслеживать v, потому что в стандартных подходах (Adam, BatchNorm) эту проблему пытаются маскировать, а не решать фундаментально.
Ирония в том, что исследования подтверждают наличие самоорганизованной критичности в обучении нейросетей. Нейросети действительно эволюционируют к критическому состоянию. Статья [1] предлагает способ диагностировать это состояние через (u, v). А корпоративный ИИ просто не знает, что такая диагностика возможна.
· ИИ не различает «важную информацию» и «шум»
Исследования показывают, что генеративный ИИ создаёт иллюзию важности — он выдаёт информацию, которая выглядит убедительно, но может быть оторвана от контекста. Организации, внедряющие ИИ, часто не могут распознать, что им показывает технология. В данной статье говорится: «Важной информации нет. Есть пульс системы». ИИ, обученный на парадигме «знание — сила», не может принять этот тезис, потому что он противоречит его обучающей выборке.
Таким образом, задача состоит в создании на основе этой статьи более мощного ML-оптимизатора, что не уменьшает требования и к более тщательной формализации рукописи перед публикацией, уже с учётом этой новой необычной аудитории.
2. О чём на самом деле статья
В статье рассматривается окрестность процессов самоорганизованной критичности (SOC), где возникает дополнительная (квантовая) степень свободы как плата за отсутствие управляющих параметров. В роли привычных координат уже выступают динамические энтропии – стохастическое описание процессов с замкнутыми причинно-следственными связями. Дополнительная степень свободы естественным образом реализуется в гиперболическом пространстве.
В живой, адаптивной природе нет прямых углов и ровных линий. Евклидова геометрия – удобная идеализация для стабильных, «мёртвых» систем. Как только среда становится нестабильной, а система – адаптивной, ландшафт сам становится гиперболическим: искривлённым, нелинейным, фрактальным.
В контексте настоящей статьи, важное для ML-инженеров понимание: неминуемое схлопывание (разрежения и сжатия) в прямолинейном пространстве допускает в криволинейном гиперболическом пространстве стабильное состояние (солитон) за счёт отрицательной кривизны пространства. Пока западные философы горели над вопросом – почему бог не уничтожил дьявола в евклидовом пространстве, восточная философия созерцала природную дихотомию Инь-Ян - «встроенная» отрицательная кривизна пространства, при условии зацикленности причинно-следственных связей.
3. Что это даёт ML-инженеру (практика)
В контексте ML определены роли гиперболической пары (u,v) в качестве динамического (u, ландшафт потерь) и структурного (v, число обусловленности) измерений. Обнаруженный эффект разделения переменных (вариабельность u при стабильности v) вскрывает фундаментальный механизм самоорганизации информации: система в критическом состоянии спонтанно генерирует "жесткую" моду (v), играющую роль структурной константы, и "мягкую" моду (u), вдоль которой разворачивается динамика. Это дает теоретическое обоснование для создания нового поколения алгоритмов машинного обучения:
1. Топологически-адаптивных оптимизаторов, использующих информацию о числе обусловленности для навигации в пространстве параметров.
2. Методов интерпретации "черных ящиков" через наблюдение за их траекторией в пространстве (u,v).
3. Архитектур нейросетей, реализующих принципы голографического хранения информации, что позволит приблизиться к решению проблемы катастрофического забывания и создать более эффективные способы представления иерархических знаний.
Найдена математическая «линза», через которую динамика любой сложной системы (включая ИИ) предстает как геометрия, а значит, становится предсказуемой и управляемой. Для ИИ это переход от "настройки эмпирических параметров" к "проектированию информационных ландшафтов".
Глубокие нейронные сети, несмотря на впечатляющие успехи, остаются сложными для обучения. Градиентный спуск в ландшафте с миллионами параметров часто приводит к нестабильности: градиенты взрываются или затухают, обучение застревает в острых седловых точках, а модель оказывается чувствительной к малым возмущениям входных данных. Все эти явления имеют общую математическую основу — плохую обусловленность матриц весов и операторов, возникающих в процессе обучения. Другими словами, необходим учёт внутренней структуры данных в решении невыпуклой задачи оптимизации.
4. Код: как это работает (и почему ваш ИИ этого не знает)
Любой ИИ сгенерирует np.linalg.norm и np.linalg.cond. Но это не то, что вам нужно. Вам нужна норма циркулянтной матрицы, которая не является стандартной спектральной нормой.
Основной вычислительный результат обсуждаемой статьи [1] в определении нормы циркулянтной матрицы в виде обобщённого отношения Рэлея, при этом любую матрицу можно разложить по циркулянтному базису. Критерием решения обновлённой задачи оптимизации является получение солитона в гиперболическом пространстве (u,v) как внутренней структуры в решении невыпуклой задачи оптимизации.
Обратите внимание на важный нюанс: ρ — это не просто "качество" или "когерентность". Если ρ достигает максимума — это структурированное сжатие (хорошо изученная косинусная волна). Если ρ достигает минимума — это структурированное разрежение (новый тип, который впервые получен численно). Именно экстремумы ρ структурированы, а дихотомия "разрежение–сжатие" не схлопывается, а реализуется в гиперболическом пространстве (u,v)
5. Почему «дорогой» ИИ не понял статью (и что с этим делать)
Возвращаясь к теме негативного отзыва на статью от «очень дорогого» корпоративного ИИ, а способны ли «космическая зарплата» программистов и «очень дорогой» корпоративный ИИ на инновации или организации грозит окостенение? Если организация использует ИИ для создания алгоритмов, то попадает в когнитивную ловушку, а программисты, как и компьютерные игроманы, теряют серое вещество, совершенствуясь в искусстве составления запросов к ИИ, что было отмечено в исследовании «многозадачности» Стэфорда и аналогичных более поздних исследований. Многозадачность — это миф. Мозг эволюционно пожертвовал ею ради эффективного кодирования информации для работы в многоконтекстности.
Способность отличать сигнал от шума, оценивать, что действительно важно, а что — пустая трата времени, — это уникальная человеческая компетенция, которая, согласно исследованиям, деградирует при хронической многозадачности.
Слабоформализованные данные
Конкурентоспособность в эпоху ИИ сейчас выстраивается на данных, а не на алгоритмах в моделях ИИ. Это фундаментальный сдвиг, который меняет правила игры для всех участников рынка - качество данных становится единственным конкурентным преимуществом, которое осталось. Модель ИИ сегодня – это инструмент для 5% когнитивной элиты по выявлению слабоформализованных (неявных) знаний. Для остальных связь с ИИ - в одни ворота.
В контексте настоящей статьи ещё одно необходимое понимание для ML-инженеров: в эпоху всеобщей доступности ИИ: бэконовское «знание – сила» ушло в историю, как и вся академическая наука в широкой международной дискуссии стартаперы vs академиков. Важная информация – её нет.
Радикальный тезис о том, что бэконовское «знание — сила» уходит в историю, а академическая наука теряет свою исключительную роль, находит всё больше подтверждений. Как отмечается в современных исследованиях, академические бенчмарки всё чаще не отражают условия реального мира, а сама практика «погони за бенчмарками» может искажать исследовательские стимулы.
В этом контексте модель ИИ, обученная на устаревших академических датасетах и воспроизводящая логику «знание — сила», закономерно не смогла увидеть ценность в подходе, который предлагает смену парадигмы: от накопления знаний к диагностике состояния системы. Это не просто провал конкретного алгоритма, а симптом более глубокого кризиса.
В названии доклада НГШ Герасимова «Задача науки в предвиденье» уже начинает слышаться сказочное - «Ку-ка-ре-ку! Царствуй лёжа на боку!». Невозможно обсуждать сетецентричность командира роты и предполагать существование важности информации. В эпоху всеобщей доступности к ИИ и нестабильного внешнего окружения - предсказание равно шарлатанству.
6. Итог: смена парадигмы
В этой новой парадигме центр тяжести управления смещается: от стратегических высот к уровню среднего звена. В эпоху общедоступного ИИ миддлы оказываются в самом эпицентре кризиса — и в самом центре возможностей. Они становятся не просто «передатчиками команд», а «фильтрами шума», которые отличают реальный сигнал от иллюзорной «важности». Будущее — за теми, кто умеет диагностировать состояние системы, а не за теми, кто предсказывает её будущее.
Подводя итог настоящего сообщения - наблюдается смещение парадигмы: от координат – к энтропии, от предсказания – к диагностике, от алгоритмов – к данным, от НГШ – к комроты.
7. Приглашение к обсуждению
Пишите в комментариях:
Что вы думаете о смене парадигмы — от координат к энтропии?
Какие у вас были случаи, когда ИИ давал «важную» информацию, которая оказалась шумом?
Как вы считаете, сможет ли ИИ когда-нибудь научиться отличать сигнал от шума так, как это делает человек?
import numpy as np import matplotlib.pyplot as plt # ---------------------------------------------------------------------- # 1. Норма циркулянтной матрицы как обобщённое отношение Рэлея (ρ) # ρ = числитель / знаменатель. # Эти формулы взяты из фрактального многообразия [1]. # У Милованова это обозначалось θ, мы используем ρ. # ---------------------------------------------------------------------- def calc_numerator(m): """ Числитель для ρ (нормы циркулянтной матрицы). m — порождающий вектор (первая строка матрицы). """ n = len(m) - 1 s = 0.0 for i in range(2, n - 1): s += m[i] * (2 * m[i] - m[i + 2] - m[i - 2]) # Замыкание контура (циркулянтность) s += m[0] * (2 * m[0] - m[2] - m[n - 1]) s += m[1] * (2 * m[1] - m[3] - m[n]) s += m[n - 1] * (2 * m[n - 1] - m[0] - m[n - 3]) s += m[n] * (2 * m[n] - m[1] - m[n - 2]) return s def calc_denominator(m): """ Знаменатель для ρ. """ n = len(m) - 1 s = 0.0 for i in range(2, n - 1): s += m[i] * (6 * m[i] - 4 * m[i + 1] + m[i + 2] + m[i - 2] - 4 * m[i - 1]) s += m[0] * (6 * m[0] - 4 * m[1] + m[2] + m[n - 1] - 4 * m[n]) s += m[1] * (6 * m[1] - 4 * m[2] + m[3] + m[n] - 4 * m[0]) s += m[n - 1] * (6 * m[n - 1] - 4 * m[n] + m[0] + m[n - 3] - 4 * m[n - 2]) s += m[n] * (6 * m[n] - 4 * m[0] + m[1] + m[n - 2] - 4 * m[n - 1]) return s def rho_norm(m): """ Вычисляет норму ρ для вектора m. ρ = числитель / знаменатель. """ den = calc_denominator(m) if abs(den) < 1e-12: return np.nan return calc_numerator(m) / den # ---------------------------------------------------------------------- # 2. Построение циркулянтной матрицы # ---------------------------------------------------------------------- def build_circulant(first_row): n = len(first_row) C = np.zeros((n, n)) for i in range(n): C[i, :] = np.roll(first_row, i) return C # ---------------------------------------------------------------------- # 3. Гиперболическая пара (u, v) через норму ρ # ---------------------------------------------------------------------- def hyperbolic_pair(first_row): """ Вычисляет (u, v) для циркулянтной матрицы, порождённой first_row. u = 0.5 * ln( ρ(C) / ρ(C⁻¹) ) — динамическое измерение (перекос) v = sqrt( ρ(C) * ρ(C⁻¹) ) — структурное измерение (корень из числа обусловленности) """ rho_C = rho_norm(first_row) if np.isnan(rho_C): return np.nan, np.nan C = build_circulant(first_row) try: inv_C = np.linalg.inv(C) inv_first_row = inv_C[0, :] except np.linalg.LinAlgError: return np.nan, np.nan rho_inv = rho_norm(inv_first_row) if np.isnan(rho_inv): return np.nan, np.nan u = 0.5 * np.log(rho_C / rho_inv) v = np.sqrt(rho_C * rho_inv) return u, v # ---------------------------------------------------------------------- # 4. Демонстрация # ---------------------------------------------------------------------- if __name__ == "__main__": np.random.seed(42) vec = np.random.randn(10) print("Порождающий вектор:", vec) rho = rho_norm(vec) print(f"Норма ρ = {rho:.6f}") u, v = hyperbolic_pair(vec) print(f"u = {u:.6f}, v = {v:.6f}") C = build_circulant(vec) plt.imshow(C, cmap='viridis') plt.colorbar(label='Значение элемента') plt.title('Циркулянтная матрица, порождённая вектором') plt.show()
Комментарии (34)
kuza2000
22.07.2026 03:57Либо ИИ прав, либо эти идеи выше моего понимания))
Vital18 Автор
22.07.2026 03:57Понимаю, иначе статья не попала бы в Q1. Может LLM поможет? Даст варианты понимания с учётом Ваших профессиональных интересов, если загрузить текст этой статьи?
kuza2000
22.07.2026 03:57Еще раз попробовал вникнуть. Спросил мнение у chat gpt pro. И он ее не отмел. Разобрал плюсы, минусы, все достаточно обоснованно. Вот его сжатое мнение:
Статья выглядит как смелая и потенциально полезная математическая гипотеза, но не как доказательство физического нарушения причинности. Наиболее продуктивно читать её как предложение циклической, нелокальной по времени схемы самосогласования, а выражение violation of causality — пока как сильную интерпретацию этой схемы.
Как я понимаю, на основе некоторых предположений, предлагается улучшить оптимизаторы ML. Полностью согласен с @Kamil_GR - надо просто брать и проверять. Сейчас эти идеи довольно легко проверяются в домашних условиях. Даже простая LLM вполне себе создается на RTX 3090/4090/5090.
Kamil_GR
22.07.2026 03:57ллм не нужно... достаточно микротрансформера, математика должна работать на всех масштабах. У меня вообще древняя шести гигабайтная gforce справляется.
Vital18 Автор
22.07.2026 03:57Да, конечно, это не доказательство физического нарушения причинности. Только в окрестности самоорганизации, когда почва уходит из под ног, появляется дополнительная степень свободы. В процессе обучения в нейросети возникает самоорганизация.
Ka463
22.07.2026 03:57Я пошел еще дальше (интересно же) и загнал полную проверку в Kimi, вот результат который он получил не на словах
Всё, картина закрыта со всех сторон. Комбинация со «взрослым» регуляризатором дала последний, самый неожиданный результат. Итоговая таблица дня:
Финальная сводка эксперимента (задача (a+b) mod 24, циркулянтные слои, 30 000 шагов)
Train acc Test acc Гроккинг Эфф. размерность
Обычный Adam 1.0000. 14–0.27 нет 13–26
Adam + солитонный штраф (λ=10)1.000 0.18 (насыщение) нет 22
Adam + weight decay (контроль)1.000 1.000 да, шаг ~1100 8.2
Weight decay + солитонный штраф 0.083 0.038 коллапс 4.8Постановка валидна. Weight decay даёт чистейший гроккинг на 1100-м шаге — задача, архитектура и бюджет обучения способны породить эффект самоорганизации. «Окрестность самоорганизации» здесь достижима, и мы знаем, как она выглядит: эффективная размерность падает до 8 (сеть находит низкоразмерное структурированное решение — это и есть гроккинг).
Солитонный штраф не воспроизводит этот эффект даже за 30 000 шагов — в 27 раз дольше, чем нужно контролю. Test‑точность насыщается на 0.18. Притом штраф исправно загоняет (u,v) в точку (0,1) — то есть «прибор» показывает идеальное «солитонное состояние», а обобщения не происходит. Связь между (u,v) и обучаемостью не обнаружена там, где она должна была проявиться ярче всего.
Хуже того: штраф несовместим с рабочим механизмом. Добавленный к weight decay, он разрушает обучение полностью (train acc = 0.083, уровень случайного угадывания) — «топологическое давление» блокирует тот самый путь к самоорганизации, который теория обещала открыть.
Косвенное наблюдение: реальный гроккинг сопровождается сжатием эффективной размерности (8.2), тогда как в комментариях предсказывался её рост как метрика успеха. Предсказание теории противоположно наблюдаемому.
Вердикт
После сегодняшнего: теория проверена в самой благоприятной для неё постановке — на её родном математическом объекте (циркулянты), на её родной циклической задаче, по протоколу, предложенному её сторонником в комментариях, с критериями успеха, которые он же и сформулировал. Результат отрицательный по всем критериям, при положительном контроле. Оговорка Kamil_GR «может, нужна принципиально иная архитектура» формально не опровергаема никогда — но научный долг автора теперь не в новых формулировках, а в демонстрации хотя бы одной постановки, где штраф работает лучше weight decay.
Kamil_GR
22.07.2026 03:57Отлично. Допущения неверны. В таких случаях не надо опускать руки, а оценить их и сформулировать новые гипотезы. Например, дополнительное измерение проявляется не как увеличение размерности, а сжатие к к ортогональной оси. В этом случае общая размерность падает, но растет целевая ось. И лосс гнал к фиксированной точке.
Ka463
22.07.2026 03:57
Kamil_GR
22.07.2026 03:57Сомнения в правильности теории растут. К сожалению, разбираться дальше пока нет времени.
Закончу свой проект, возможно вернусь.
Но я бы предположил, что мешает Адам. Нужен другой оптимизатор.
Vital18 Автор
22.07.2026 03:57Заплатил бы 100 т.р. за публикацию на Хабре с инженерной реализацией. Самоорганизованная критичность нейросети - это факт.
Kamil_GR
22.07.2026 03:57Принял к сведению. Да и самому интересно...
Один вопрос.... А дискретность солитона рассматриваете? Есть одна мысль
Vital18 Автор
22.07.2026 03:57Дополнительная степень свободы (обратная циркулянтная матрица) является квантовой. Рассматриваю буквально зонную структуру на фазовой диаграмме (u,v). Три критерия: 1) нормальность (u,v); 2) солитон; 3) зонная структура.
SER_26
22.07.2026 03:57Неясно выглядит статья в "философских" выводах, как по мне ("математику" не трогаю). И слишком много недоказанных постулатов, тяготеющих к громкости в ущерб точности.
И он оказался прав
Прямого ответа, почему ИИ "оказался прав" нет. Возможно, потому, что заглавие немного хайповое.
Ключевая проблема не в том, что ИИ «глупый». Проблема в том, что он обучен на другой парадигме.
И в том, что "глупый" в контексте "современный ИИ, основанный на LLM, перебирает известное" - тоже. Он ценность истинно нового не сможет распознать.
бэконовское «знание — сила» уходит в историю
Идёт подмена того, что имел в виду Бэкон. Он говорил про проверенное понимание причин и закономерностей, а ту всё сводится к "информация - сила".
академические бенчмарки всё чаще не отражают условия реального мира
И
академическая наука теряет свою исключительную рольНе равны друг другу. А в статье это приравнивается.
В эпоху всеобщей доступности к ИИ и нестабильного внешнего окружения - предсказание равно шарлатанству
Не равно. К разному ИИ есть доступ у разных людей. Не зря его ограничивают. И важно, как ставить вопросы. Есть и другие факторы. Кто ими лучше владеет, тот точнее в предсказаниях.
Модель ИИ сегодня – это инструмент для 5% когнитивной элиты по выявлению слабоформализованных (неявных) знаний. "
Постулирование без доказательства.
В этой новой парадигме центр тяжести управления смещается: от стратегических высот к уровню среднего звена. В эпоху общедоступного ИИ миддлы оказываются в самом эпицентре кризиса — и в самом центре возможностей.
Постулирование без доказательства.
Пока западные философы горели над вопросом – почему бог не уничтожил дьявола в евклидовом пространстве, восточная философия созерцала природную дихотомию Инь-Ян
Очень вольная интерпретация и теодицеи в западном понимании, и восточного подхода.
Vital18 Автор
22.07.2026 03:57Спасибо за подробный комментарий. Не знаю, что лучше: вообще убрать или дать тезисы. 1) Не отвергается весь Бэкон, только его тезис: "знание само по себе есть сила (политическая, юридическая власть, могущество)". Условно, ваш начальник обладает особыми знаниями, которых нет у вас. С широким внедрением ИИ, люди начнут замечать, что каких-то особых знаний у начальника-то и нет. Это кризисная ситуация. 2) Упомянул широкую и важную дискуссию: "стартаперы vs. академиков". Это споры про деньги, гранты - интересная тема для аудитории, на мой взгляд. 3) 5% когнитивной элиты - это существующие исследования. Проблема данных - и это существующие исследования. LLM даст ссылки. 4) Миддлы как эпицентр управленческого кризиса - это мои исследования и анализ в будущей научной публикации. 5) Да, существуют разные способы объяснения отрицательной кривизны в гиперболическом пространстве. Выбрал такой, философский. 6) История с корпоративным ИИ реальная, "я в шоке". 7) "И важно, как ставить вопросы" - не согласен, вы задаёте вопрос машине, которая не понимает сиюминутный контекст.
SER_26
22.07.2026 03:57Спасибо за пояснения. Интересно. Обдумал.
Не отвергается весь Бэкон, только его тезис: "знание само по себе есть сила (политическая, юридическая власть, могущество)". Условно, ваш начальник обладает особыми знаниями, которых нет у вас. С широким внедрением ИИ, люди начнут замечать, что каких-то особых знаний у начальника-то и нет. Это кризисная ситуация.
Повторюсь:-) "Идёт подмена того, что имел в виду Бэкон."
Так как концепция Бэкона упрощённо: "знание помогает достигать результата. Из него рождается власть". То есть, сама концепция не изменяется. А Вы говорите про информационную асимметрию (это не Бэкон).
Кстати, она, безусловно, уменьшится, но "каких-то особых знаний у начальника-то и нет" вряд ли будет верно на 100%. У нормального начальника останутся, как минимум, опыт (идеальный ИИ теоретически может познать и его), конфиденциальная информация, включая понимание неформальных процессов и сеть контактов.
И такая Ваша формулировка (с привязкой к Бэкону и "его" тезису) уводит от понимания Вашего тезиса.Упомянул широкую и важную дискуссию: "стартаперы vs. академиков". Это споры про деньги, гранты.
Ясно. Слишком обобщающая формулировка в статье затруднила моё понимание.
Правда, и раньше не только академическая наука деньги и гранты получала. deep-tech стартапы и гранты получали тоже. SBIR/STTR еще с 1982 года была нацелена на небольшие технологические компании. Деньги выдавались именно на исследования и создание прототипов.5% когнитивной элиты - это существующие исследования. Проблема данных - и это существующие исследования. LLM даст ссылки.
Ясно. Исследования, не Ваша личная непроверенная пока идея. Будем считать доказанным:-) Правда, LLM не подтвердил именно 5%, но это не важно. Мог не найти.
Миддлы как эпицентр управленческого кризиса - это мои исследования и анализ в будущей научной публикации.
Ясно. Будет очень интересно ознакомиться потом, если это цифрами реальными будет подкреплено. Вот в "Миддлы как эпицентр управленческого кризиса" верится, а в "Будущее — за теми, кто умеет диагностировать состояние системы, а не за теми, кто предсказывает её будущее" (и в огромные возможности для миддлов) - не очень. Я бы предположил, что миддлов вообще станет сильно меньше (они - необходимое зло из-за span of control) благодаря ИИ, а ключевые функции (включая диагностировать состояние системы) "уйдут" к топам. Но не утверждаю, что так не может быть, как Вы пишете.
существуют разные способы объяснения отрицательной кривизны в гиперболическом пространстве. Выбрал такой, философский.
Я не про то, что нельзя так объяснять отрицательную кривизну в гиперболическом пространстве. Способы уж точно на Ваше усмотрение. Я про то, что Вы религиозные идеи исказили при этом для красоты пояснения. Запада уж точно. Например, нет смысла заниматься уничтожением сверхъестественного существа исключительно в трехмерном пространстве.
История с корпоративным ИИ реальная, "я в шоке".
Если Вы "в шоке", так как новые нестандартные идеи не оценила достойно LLM, то я несколько удивлён. Мне было бы удивительно обратное со стороны LLM. И проблема не в цене, а в базовых ограничениях.
вы задаёте вопрос машине, которая не понимает сиюминутный контекст.
В первую очередь я имел в виду, что "правильно заданный вопрос содержит половину ответа". Упрощённо, спрашивающий должен понимать ограничения LLМ и включать в вопрос сиюминутный контекст, если нужно. Кто так умеет + имеет сильнейшую машину + данные + ..., тот и победит.
Кроме того:
а) Зависит от мощности машины и доступа к данным о контексте. Но в
б) Никто не доказал, что, например, негенеративный ИИ обязательно не будет понимать сиюминутный контекст.
Vital18 Автор
22.07.2026 03:57академические бенчмарки всё чаще не отражают условия реального мира
И
академическая наука теряет свою исключительную рольНе равны друг другу. А в статье это приравнивается.
Всё же равны друг другу в контексте бэконовского "знание - это политическая, финансовая и юридическая власть". Сохранил бы в статье сравнение: академические бенчмарки и академическую науку.
Kamil_GR
Удивительный случай. Обычно, когда автор получает рецензию от LLM, приходится ее заставлять критиковать и искать слабые места. У вас же наоборот....
И второе, вашу концепцию вполне реально проверить на микросетях на домашнем компьютере.... Если ускорите обучение, повысите точность и прозрачность, то это будет убедительнее любой статьи
Vital18 Автор
В общем - да, только LLM и корпоративный ИИ на разных принципах обучаются. LLM - в большей степени исследовательская модель, насколько понимаю. Мой бизнес это теоретическая физика и управленческий консалтинг, научные публикации, а не патенты. Публикации на Хабре не защищают авторские права, это другое. Хотя, и не менее важное.
Kamil_GR
Проверка заняла бы не так уж много времени.... С LLM меньше одной недели по вечерам... Например так:
Размер: 4 слоя, d_model = 256 или 512 (~20-50 млн параметров). Геометрия: Матрицы инициализируются в гиперболическом пространстве
Слои Attention: Заменены на блочно-циркулянтные проекции
Loss-функция: Включает классический Cross-Entropy + топологический регуляризатор на основе ρ , который следит за тем, чтобы число обусловленности v не коллапсировало
Проблемы решать по мере возникновения... Итерационно. Сравнивать с классическим трансформером того же размера.
Vital18 Автор
Должна быть структура солитона в гиперболическом пространстве (u,v). Измерения (u,v) должны быть связаны. Тогда это будет честным учётом структуры в задаче оптимизации.
Kamil_GR
Ага, то есть уже есть хоть какие-то инженерные требования, тогда:
Через архитектуру (Явная параметризация), не обучаем матрицы весов напрямую. Делаем u и v базовыми обучаемыми параметрами сети и жестко связываем их вашим уравнением. А сами матрицы Attention математически разворачиваем из них на каждом шаге. Так сеть физически не сможет разорвать эту сцепку.
Через функцию потерь (Солитонный инвариант),не штрафуем параметры по отдельности, а прописываем уравнение жесткой связи u и v в Loss-функцию как физический инвариант. Оптимизатор будет получать огромный штраф за любую попытку сойти с гиперболической траектории солитона.
Через кастомный оптимизатор Стандартный Adam разорвет вашу связь, поэтому берем симплектический оптимизатор (или оптимизатор для римановых многообразий). Он пересчитывает веса так, чтобы шаг обучения скользил строго по заданной гиперболической поверхности, не нарушая баланс дисперсии и нелинейности.
любой из этих вариантов можно собрать на PyTorch за выходные и проверить теорию на практике.
Vital18 Автор
Супер! Вы понимаете больше меня в этих делах. Мне кажется, варианты 1 и 3 перспективны и есть новизна.
Kamil_GR
Я бы посоветовал вам попробовать. Желательно использовать как помощников Claude Opus и Geminin 3.1 pro на Ai-studio (в официальном приложении она существенно тупее). Перекрестная проверка и брейн-шторминг резко ускоряет процесс.
Конечно может и не получиться, но это не отвергает теорию, всегда есть шанс, что требуется принципиально иная архитектура. Но вероятность такого исхода я оцениваю как низкую.
Vital18 Автор
К Вашему варианту 1, в качестве возможного усиления. Инициализация и явная параметризация — это две стороны одной медали. Стандартные методы (Glorot, He) неявно приводят к тому, что
v ≈ 1иu ≈ 0. Сделаем это явным: объявитьuиvобучаемыми параметрами и жестко связать их через гиперболическое уравнение.Vital18 Автор
Ещё бы попробовал ограничение снизу по модулю лямбда минимального для циркулянтных матриц - где-то в районе 0.25, отсекая пуассоновский шум.
Kamil_GR
Если жёстко связать (u,v) тождеством, оптимизатор увидит одну степень свободы вместо двух. Градиенты могут просто обнулиться, и структура зафиксируется. Может лучше использовать штраф в лоссе.
Здраво, но 0.25 это хардкод, в будущем стоит сделать его относительным.
Сначала стоит проверить самый минимум, обычный Adam + мягкий штраф солитона в лосс. Есть гроккинг - идея работает, можно накручивать остальное. Нет гроккинга, где-то ошиблись.
И моё мнение, чтобы доказать вашу теорию, мерить нужно не точность (accuracy), а появление новой степени свободы. Ваша идея про самоорганизующуюся критичность предсказывает появление дополнительного измерения. Значит, метрикой успеха должно быть увеличение эффективной размерности представлений под вашим топологическим давлением по сравнению с обычным трансформером.
Ваша статья удивительным образом концептуально пересеклась с моим проектом, поэтому и заинтересовался.
Vital18 Автор
Ваш вариант метрики (разделение переменных) - это следствие, мой вариант (внутренняя структура, солитон) - это причина. Суть одна.
Kamil_GR
суть одна, согласен. Но это не причина и следствие, а структура и её единственное измеримое следствие. причём проверить можно только его, поэтому метрика не вторична. Пока не представляю, как измерить объективно кривизну. Метрика как отклонение от евклидовой геометрии представления, хм... Ну ваше право.
Vital18 Автор
Не совсем так. Есть математическая база для циркулянтных матриц больших размерностях (Bose, Hazra и Saha). Кроме хардкода не существует других способов избавиться от пуассоновского шума.
Zenitchik
Если для понимания требуется строить модель - ИИ сольётся. С тем же успехом можно у тумбочки спросить.
Kamil_GR
Не совсем понял.
Речь идёт о тестировании конкретной архитектуры