Как запустить свою LLM для инференса. Руководство по запуску: Ollama, vLLM, Triton, LM Studio, llama.cpp, SGLang +24
Публикации с тегом llama.cpp
Вайб-кодинг с доставкой на дом +6
Нейросети простым языком +6
Георгий Герганов, автор llama.cpp и звукового кейлогера +103
Запускаем настоящую DeepSeek R1 671B на игровом ПК и смотрим вменяемая ли она на огромном контексте (160к) +128
Видеокарты для нейросетей: две RTX 5060 Ti 16GB или одна RTX 3090 24GB? Тест LLM‑инференса +25
Ускорение DeepSeek-R1 с подвохом: Когда токены в секунду врут о реальной скорости +3
Локальный DeepSeek-R1: Когда скорость улитки – не приговор, а точка старта +70
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp -3
Как мы прикрутили RAG для интент-классификации, или Трудности перевода на LLM-ский +15
Квантовать или не квантовать LLM? +16
Распределённый инференс llama.cpp через RPC +24
Установка LLM на скромном VPS
