Рецепт vLLM с мистралем. Часть 1 +3
Публикации с тегом квантование
Прорыв в обучении бинарных нейронных сетей: новый метод квантования обеспечивает их стабильность и высокое качество +7
67 iPhone против одной H100: почему гибкость не побеждает чистую мощность +5
- Блог компании BotHub
- Искусственный интеллект
- Гаджеты
- Компьютерное железо
- Исследования и прогнозы в IT
Кто убил интеллект? Расследование деградации ChatGPT, Claude, Gemini и других LLM +32
Оптимизация LLM: LoRA и QLoRA +10
Малые числа, большие возможности: Роль плавающей запятой в ИИ +3
Разбираемся с суффиксами квантования LLM: что на самом деле значат Q4_K_M, Q6_K и Q8_0 +72
Квантовать или не квантовать LLM? +16
Краткий гайд по квантованию нейросетей +7
Как настроить LLM на локальном сервере? Краткое руководство для ML-специалистов +19
- Блог компании Selectel
- IT-компании
- Natural Language Processing
- Искусственный интеллект
- Машинное обучение
Как устроены 4.6-битные сети: обучение
Как устроены 4.6-битные сети: идея и имплементация
Neural Network Optimization: океан в капле +27
- Блог компании Doubletapp
- Серверная оптимизация
- Обработка изображений
- Машинное обучение
- Искусственный интеллект
Земля круглая, вода мокрая, JPEG шакалит, небо голубое… Или нет? +130
Квантование эмбеддингов: что это, зачем оно нужно и как его правильно готовить +33
