Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Публикации с тегом continuous batching
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Архитектура AI-сервисов: почему монолит убивает latency и GPU
