Публикации с тегом инференс LLM
SGLang без магии: как устроены основные настройки инференса LLM +6
- Блог компании ecom.tech
- Искусственный интеллект
- Natural Language Processing
- Высоконагруженные системы
- Open source
PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLM +49
- Блог компании Selectel
- Компьютерное железо
- Искусственный интеллект
- Машинное обучение
- IT-инфраструктура
35B-модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4
Дело о лишних размышлениях: почему вредно много думать +5
Дело о 38 токенах в секунду: почему M3 Ultra начинал с двенадцати +5
Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег +3
Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация -1
Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention +3
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2 +4
Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите +5
- Искусственный интеллект
- Natural Language Processing
- Машинное обучение
- Программирование
- Исследования и прогнозы в IT
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching -1
Как я установил в свой игровой ПК серверный GPU за £200 +62
Как развернуть Mistral 7B на GPU-сервере через vLLM
Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant +21
- Блог компании МТС
- Искусственный интеллект
- Машинное обучение
- Natural Language Processing
- Сжатие данных
