Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front +8
Публикации с тегом vllm
Облачная LLM на 16 ГБ VRAM — часть 3: ChatGPT-интерфейс для ваших LangGraph-агентов +23
Как оптимизировать LLM-инференс в 2026 году +18
- GPGPU
- Блог компании Cloud.ru
- Машинное обучение
- Параллельное программирование
- DevOps
- Искусственный интеллект
DeepSeek‑V4‑Flash на двух DGX Spark: как мы убрали очередь и получили multi‑user +10
Ubuntu 26.04 на клоне DGX Spark (Asus GX10) +9
Anthropic, Fable 5, Claude Code и большой отбор игрушек -5
- Искусственный интеллект
- Информационная безопасность
- Серверное администрирование
- Машинное обучение
- GitHub
GPU-автоскейлинг на Kubernetes с KEDA: создание внешнего скейлера +3
Как я разогнал Qwen3.6-27B до 73 токен/с в llama.cpp: параметры, которые реально работают +32
Qwen3.5 на двух V100, reverse SSH вместо Cloudflare в Telegram Mini App: собираю AI-репетитора английского +1
Визуальный поиск: Новый подход к обнаружению объектов
Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать
Как мы построили корпоративную LLM-платформу: архитектура, грабли и выводы
Архитектура AI-сервисов: почему монолит убивает latency и GPU
Как развернуть Mistral 7B на GPU-сервере через vLLM
