Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста +1
Публикации с тегом локальный инференс
70 токенов в секунду в qwen3.8–27b на RTX 3090 +14
Такого нет даже у OpenAI Dots, Grok Bot и Muse: NIKA — личные ИИ-агенты с on-device LLM (я доверила ИИ банковскую карту) +1
Локальный инференс на Ryzen AI Halo +25
Запустить LLM локально: что считать до покупки видеокарты? +4
- Блог компании OTUS
- Машинное обучение
- Искусственный интеллект
- Компьютерное железо
- Natural Language Processing
Я попробовал ужать LLaMA-7B до 1 ГБ без дообучения. Вот что произошло после 60+ экспериментов +3
Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле +8
Нужен ли GUI вашему продукту, если всё решает локальный агент? +4
Пора переезжать на локальные LLM. Или нет? +4
