Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf
Публикации с тегом GGUF
Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090 +10
Возвращение короля: разбираемся, что такое Qwen3.8 27B +17
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить +68
Как я ужал русский эмбеддер до 24 млн параметров — и чуть не испортил его одной цифрой +7
Как мы запустили Ornith‑35B на ноутбуке с 8 ГБ VRAM и разогнали её до 99 ток/с на AMD Strix Halo +4
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM +7
Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту +14
Локальный запуск openai/gpt-oss-20b MXFP4 GGUF на ноутбуке без дискретной видеокарты: практический тест на 32 GB RAM +13
Локальная Gemma 4 на MacBook читает графики и таблицы — и врёт красивее, чем говорит правду +4
Как я добавил llama.cpp бэкенд в CosyVoice3 и ускорил инференс в 2.6x +8
Локальный запуск GLM-5.1 +5
- Машинное обучение
- Искусственный интеллект
- Open source
- Natural Language Processing
- Системное администрирование
Реставрация ruGPT-3 XL или как я вернул к жизни забытую русскую языковую модель +35
GGUF: квантизация с калибровкой (imatrix) +9
Локальный AI: Прагматичное руководство по запуску LLM на своем железе +11
