Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
Публикации с тегом tail latency
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99 +11
- Блог компании VK Tech
- Блог компании VK
- Машинное обучение
- Искусственный интеллект
- Высоконагруженные системы
TCP — плохой вариант для дата-центров. Встречайте новый протокол Homa +12
- Блог компании Дата-центр «Миран»
- Высокая производительность
- Системное администрирование
- Сетевые технологии
- IT-стандарты
