Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите +5
- Искусственный интеллект
- Natural Language Processing
- Машинное обучение
- Программирование
- Исследования и прогнозы в IT
Публикации с тегом kv-cache
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching -1
Контекстное окно: почему нейросеть забывает части разговора +22
Скрытая цена LLM: как KV-cache увеличивает стоимость инференса и как эту проблему решает Google TurboQuant +21
- Блог компании МТС
- Искусственный интеллект
- Машинное обучение
- Natural Language Processing
- Сжатие данных
KV-кэш, экспертное сообщество и критическое мышление
KV-Cache в LLM: разбираем инференс через 9 ключевых вопросов +4
