Публикации с тегом sglang
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать +21
Инференс LLM: от KV-кэша до продакшен-деплоя +10
- Блог компании hh.ru
- Блог компании Конференции Олега Бунина (Онтико)
- Машинное обучение
- Высоконагруженные системы
- Искусственный интеллект
Архитектура AI-сервисов: почему монолит убивает latency и GPU
Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
