Проект llama-modchip выложен под Apache 2.0. Это набор патчей для ядер ggml/llama.cpp, инструменты квантования и скрипты, которые позволяют гонять разреженные MoE-модели прямо на процессоре. Автор утверждает, что DeepSeek-V4-Flash (284 млрд параметров, из них 13 млрд активных) работает на машине с 64 ГБ оперативной памяти: без видеокарты и без свопа. Разбираю, что у него получилось ниже.
Что получилось
Пиковое потребление памяти около 58 ГБ при контексте 256 000 токенов. Префилл, то есть «прочтение» запроса, идет со скоростью 44 токена в секунду, генерация дает от 9 до 15 токенов в секунду. Тестировали все это дело на 16-ядерном RyzenTM 9 9955HX. Для сравнения: это примерно тот темп, в котором текст еще удобно читать по мере появления на экране.
Почему это вообще возможно
Здесь сошлись два приема, первый заложен в самой модели. MoE (mixture of experts) похожа на большую библиотеку, где на каждый вопрос открывают только нужные книги-эксперты. Параметров у DeepSeek-V4-Flash 284 млрд, но на каждый токен работает лишь 13 млрд, так что по вычислениям она ближе к моделям среднего размера. Проблема в другом: хранить нужно все 284 млрд, и именно память обычно упирается в потолок.
Второй прием делает автор проекта: агрессивное квантование маршрутизируемых экспертов, до 1,56 бита на вес по схеме IQ1_S, плюс собственный формат файлов. 284 млрд весов по полтора бита с небольшим дают чуть больше 50 ГБ, и в 64 ГБ это уже помещается.
Где подвох
Слово «lossless» в README автора означает только то, что логиты совпадают с непропатченной сборкой на тех же квантованных весах. С полноточной моделью никто не сравнивал, а при 1,56 бита на вес потеря качества почти наверняка есть, вопрос лишь в ее размере. Все цифры получены самим автором, независимых повторов пока нет. Квантованные файлы не открываются в обычных llama.cpp, Ollama и LM Studio: нужна именно сборка проекта.
Почему это стоит отметить
Спрос на HBM и DRAM растет, а рынок памяти и видеокарты переживают не лучшие времена. Если такие сборки подтвердятся, локальный инференс моделей уровня фронтира прошлого года уйдет с дорогих GPU на домашние ПК и серверы.
Как считаете, софтверная оптимизация вроде этой, поможет уменьшить зависимость от видеокарт, или это просто красивая игрушка для энтузиастов? Жду ваше мнение в комментариях.
Token Factory: инференс открытых ИИ‑моделей на серверах в РФ
Подключайте GLM, DeepSeek, Qwen и Kimi через OpenAI‑совместимый API и платите в рублях только за используемые токены.
Комментарии (4)
MrYuiryMr
10.11.2026 13:53Сейчас энтузиасты это которые чайной ложкой вычерпывают целую ванну и все говорят смотрите какой он молодец?
rPman
10.11.2026 13:53Префилл, то есть «прочтение» запроса, идет со скоростью 44 токена в секунду
ни о какой адекватной работе с таким префилом речи идти не может... начальный контекст любого агента это 10к-20к токенов, типовая даже простая задача раздувает его до 50к и стоит где то кешу не сработать, добро пожаловать в часовые прогоны префилом.
Базовые настройки агентов просто уронят процесс уже через 10 минут ожидания префила.
А вот сложные задачи это обработка миллионов входных токенов (200кк-2000кк суммарно из них несколько процентов - входные данные и порядка 1 процента генерация)
p.s. а тут еще 10-30% падения качества только за счет агрессивной квантизации, это значит агент будет ошибаться, исправлять свои ошибки, снова и снова.
Moog_Prodigy
10.11.2026 13:53Лиха беда начало. Для агентов и правда ни о чем скорости, но сами эти эксперименты с озу и разделением труда уже дают первые результаты. Не так давно еще через mmap на nvme запускали и радовались 0.3 т/с...
AiR_WiZArD
Все, что надо знать. Лоботомизированный огрызок, strata/maya на самых простых видеокартах покажет гораздо, гораздо более качественный результат с qwen 3.8 flash next.
Размере качества? Да, да, да, конечно, качество не падает. Если бы все было так просто.