Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf
Публикации с тегом llama.cpp
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090 +10
753B на одной видеокарте: разбор FreeToken +9
Чем Go полезен при разработке AI‑агентов +26
А все-таки Qwen3.8-27B — думает меньше и быстрее чем 3.6 +75
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
MoE на 5090 недобирает полтора раза, и дело не в маршрутизации +4
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить +68
Тест локальных MOE моделей +22
Как я смог запустить 32b модель и сделать ее умнее в два раза на 3050 +6
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой +7
Дообучил pretrain ruGPT3 XL 1.3B до уровня LLM (~2020 год, ChatGPT выйдет через 2 года). Сравнение с Gemma3 1B 2025 года +21
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo +4
Мини‑ПК на Strix Halo под параллельной нагрузкой: 236 tok/s на 32 одновременных запросах и три ошибки +10
- Компьютерное железо
- Машинное обучение
- Искусственный интеллект
- Natural Language Processing
- Open source
Qwen 3.6 27b на 8-12gb vram в llama.cpp до 256к контекста +20
