«У нас было две планки оперативной памяти, одна серверная Tesla V100, прочная открытая рама вместо корпуса, 5 райзеров, коробка, наполовину набитая переходниками питания, и целое море разноцветных SATA‑кабелей, стяжек и термопрокладок, а так же тюбик термопасты, моток шлангов для водянки, ящик вентиляторов, пинта изопропила и 12 саморезов неизвестного происхождения. Не то, чтобы всё это было категорически необходимо для сборки, но если уж начал собирать коллекцию, то к делу надо подходить серьёзно.»
— по мотивам Хантера С. Томпсона, «Страх и Ненависть в Лас‑Вегасе»
Я — начинающий инженер. Инженер‑разработчик. Учусь на программиста, обучаю нейросетки считать вес огурцов компьютерным зрением (подработка), хочу сделать робо‑собаку. Код пишу, как без этого? Рядом со мной всегда были старшие разработчики, и, глядя на них, я хотел создавать крутые решения — правильные эффективные решения уровня матерого сеньора — суровые как хижина в тайге и эффективные как электромотор на максималках. Проектировать, планировать, кодить, ревьювить, еще раз кодить, выхватывать озарения и переделывать куски кода потому что «смари, есть решение красивее» — все то, что приходит с опытом — огромным опытом и годами в профессии.
А потом пришел Клод. Мне предложили сделать «небольшой» пет‑проект. Голосовой агент с RAG и достаточно нетривиальной логикой. И, чтобы я в нем не утонул, снабдили базовой учеткой Клода. Не enterprise‑level, а базовой — чтобы не было соблазна свалить все на агента. Пробуй, мол, расскажешь что как. И… я почувствовал себя первым после Бога. Я! Могу! Проектировать комплексные системы, получать работающий код на незнакомых языках, использовать малознакомые технологии, творить дизайн, покрывать все тестами за чашкой кофе. Но эйфория прошла быстро, когда я уткнулся в лимиты. Ты почти гуру, ты почти всемогущ, но через полчаса у тебя кончаются токены и могучие руки превращаются в лапки. Вставать в пять утра чтобы более эффективно использовать токены? Боль. Но я инженер или кто? В интернете пишут, что LLM для кодинга можно развернуть локально. Пробуем!
Небольшой спойлер: в итоге получился сервер с 32 ГБ VRAM, вращающий Qwen3.6–35B со скоростью от 30 до 85 токенов в секунду — смотря какая сборка модели и сколько карт в деле. С бюджетом в 35 тысяч рублей + старый системник.
А ещё, пока я писал эту статью, Anthropic взял и заблокировал Fable 5 — для всех разом. Просто отключил модель целиком. Остальные пока доступны, но прецедент уже есть: сегодня ты строишь на чём‑то рабочий процесс, а завтра кто‑то наверху принимает решение — и ты остаёшься ни с чем. А вот сервер под кроватью никто не отключит. Он мой, он рядом, он работает по моим правилам. Это, по сути, и есть главная причина, по которой стоит читать дальше.
Железо
Начну с базы. Я взял свой PC, снял с него корпус и собрал на открытой раме. Так проще ставить и вынимать карты, и так лучше с воздухом — а мне ещё и нравится этот технический, «потроха наружу» вид: видно всё железо, провода, трубки. Ubuntu Server, SSH. У сервера есть белый IP и выход в интернет — так что подключиться к нему можно откуда угодно, не только из дома (хотя к теме статьи это уже мало относится). Сам он просто молчит в углу и думает.
Главный экспонат — Tesla V100-SXM2-16GB. Серверная карта 2017 года. В своё время стоила несколько тысяч долларов: её покупали дата‑центры, гоняли серьёзные вычисления, потом списали. Теперь она живёт у студента рядом с кроватью. На Авито сейчас — 10–12 тысяч рублей.
И пусть пик её актуальности давно прошёл, а у меня и вовсе БУ‑экземпляр — списывать V100 со счетов рано. Некоторые биг‑тех компании до сих пор держат эти карты в своих дата‑центрах под небольшие AI‑задачи. Правда, в основном это версии на 32 ГБ — старшие братья моей шестнадцатигиговой.
Один нюанс: V100 в форм‑факторе SXM2. Это серверный разъём, в обычный PCIe‑слот не идёт — нужен переходник, около 7 тысяч рублей. Ещё карта рассчитана на серверный обдув и в закрытом корпусе перегреется. Значит — водянка.
Мне повезло: к карте прилагалась металлическая пластина для охлаждения чипа. Такую я больше нигде в объявлениях не встречал. Подключается к обычному контуру СВО — шланги, помпа, радиатор, ничего специфически серверного. Установка заняла меньше часа. Сама пластина обошлась примерно в 3 тысячи, водяной контур — ещё около 3 тысяч.
Результат с запасом: под нагрузкой 42–48°C, пик 52°C при лимите карты 83°C. Тридцать один градус запаса — карта о температуре вообще не думает. По факту водянка оказалась даже избыточной: такого контура с запасом хватит и на две карты одновременно — он потянет их вообще не напрягаясь. Так что когда дойдёт до второй V100, охлаждение переделывать не придётся.
Кстати про охлаждение — момент на будущее. Сама пластина тонкая, а вот водоблок из комплектной водянки толстый и торчит вверх. Пока V100 одна — это вообще не важно. Но если захочешь поставить вторую V100 рядом, в соседний слот, с таким же стандартным водоблоком она просто не влезет по высоте — блок упрётся. Решение — тонкий водоблок с интегрированной пластиной (фото выше): с ним две карты встают вплотную без проблем. Именно такой я и возьму, когда буду докупать вторую V100.
Итого на V100-сетап: ~25 000 рублей. Карта + переходник + охлаждение. Корпус, материнка, процессор, память сюда не входят — это мой обычный десктоп, который я переоборудовал. К тому моменту я полностью перешёл на Mac, и PC был нужен уже не как компьютер, а исключительно как интерфейс к GPU. В итоге стал сервером.
Момент важный: у кого есть относительно современный PC — можно повторить, не покупая ничего кроме V100 и переходника. И да, у меня в итоге набежало больше — я докупал карты, об этом ниже. Но эти 25 тысяч — нижняя планка входа: минимум, за который ты получаешь рабочий сервер с серьёзной моделью. Дальше уже по желанию и кошельку.
Куда расти: вторая V100 vs «солянка»
Дальше захотелось запускать модели потяжелее, а взять под них VRAM было неоткуда, кроме как добавить ещё карт. И вот тут меня ждало открытие: llama.cpp распределяет модель сразу по нескольким GPU, и они не обязаны быть одинаковыми. V100, старая игровая, майнинговая — всё складывается в один общий пул памяти, любая карта с поддержкой CUDA добавляет свой VRAM в котёл. То есть путей оказалось два.
Путь, по которому пошёл я — добрать что было под рукой:
CMP 90HX — 10 ГБ VRAM, 7 000 рублей. Бывшая майнинговая, отдавали по дешёвке
GTX 1060 6 ГБ — уже была, просто добавилась в пул
Итого 32 ГБ VRAM на трёх разных картах. Звучит красиво, но есть подвох. Похожую по размеру модель я пробовал на GTX 1060 в одиночку — 2–6 токенов в секунду даже при полной загрузке. V100 на том же тесте выдаёт 82–88. Дело не в памяти — дело в мощности: у V100 быстрая HBM2-память и много тензорных ядер под матричные операции, у 1060 этого нет. CMP 90HX, как выяснилось, тоже медленная. «Солянка» работает только потому, что основную часть весов тащит V100, а остальные карты просто хранят память и тормозят общий темп.
Путь, который правильнее системно — вторая V100. Я этого ещё не сделал, но посчитал:
Просто вторая V100 (+ переходник, + охлаждение) — ещё ~25 000 рублей. 32 ГБ VRAM на двух одинаковых быстрых картах вместо разношёрстной троицы. Это уже в разы быстрее, чем мой нынешний сетап: обе карты тянут вычисления на полную, а не одна за всех. Узкое место остаётся одно — карты общаются между собой через PCIe, и на этом обмене теряется часть скорости
Апгрейд до двух V100 через NVLink — около ~45 000 рублей сверху к тому, что есть (вторая V100, её переходник, охлаждение и сам мост). Дороже обычной второй карты, потому что нужен отдельный NVLink‑мост: специальная плата‑перемычка, которая соединяет карты напрямую в обход PCIe. Именно она убирает то самое узкое горлышко — по мосту карты гоняют данные между собой на порядок быстрее, чем через материнку, и пара работает практически как одна карта вдвое мощнее. Для инференса это уже совсем другой уровень
Если бы собирал заново — брал бы сразу две V100, в идеале на NVLink. CMP 90HX в этой логике — тупиковая ветка: дёшево, но медленно и без масштабирования.
Для понимания цен: RTX 4090 с 24 ГБ новая стоит 150–180 тысяч. Суть не в том, что V100 быстрее — суть в том, что за 25 тысяч рублей вообще можно что‑то запустить.
Как это выглядит в работе
Обращаюсь к серверу через Qwen Code CLI. Скриншоты ниже — просто пример интерфейса: по сути он один в один как у claude‑code. Те же диалог, чтение файлов, запрос разрешений, правки по строкам, команды управления сессией. Если работал с claude‑code — привыкать не придётся вообще, всё знакомо и удобно.
Что запущено
На сервере три конфигурации одного семейства — Qwen3.6–35B MoE. Mixture of Experts: 35 миллиардов параметров суммарно, но на каждый токен активируется только около трёх. Остальные спят. Именно поэтому такая скромная модель влезает в не самое большое железо — и при этом работает.
Тестировал три варианта. Начну с базового.
Конфигурация 1: IQ3_XS — один V100, 13.5 ГБ
CUDA_VISIBLE_DEVICES=0 llama-server \ -hf mradermacher/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-i1-GGUF:IQ3_XS \ --host 0.0.0.0 -ngl 99 -c 100000 \ -ctk q4_0 -ctv q4_0 --flash-attn on
IQ3_XS — примерно 3 бита на параметр. 13.5 ГБ помещаются в V100 целиком, без сплита. Это reasoning‑версия: перед ответом думает в отдельном поле reasoning_content. Можно буквально наблюдать за процессом.
Главное преимущество: модель целиком в одной карте. Нет PCIe‑передач между GPU, нет накладных расходов на координацию. Это важно — и объясняет числа в таблице ниже.
Конфигурация 2: Q5_K — три GPU, 25 ГБ
Та самая «солянка» из трёх карт.
CUDA_VISIBLE_DEVICES=1,0,2 llama-server \ -hf huihui-ai/Huihui-Qwen3.6-35B-A3B-Claude-4.7-Opus-abliterated-MTP-GGUF:Q5_K \ --host 0.0.0.0 --main-gpu 0 --fit on --no-mmap \ -c 90000 -ctk q4_0 -ctv q4_0 -fa on -ub 512 -b 512
Q5_K — около 5 бит на параметр, качество квантизации выше. 25 ГБ не влезает в одну карту, модель размазывается по трём. CUDA_VISIBLE_DEVICES=1,0,2 нужен, чтобы llama.cpp видел V100 как главный GPU — у него больше VRAM.
Конфигурация 3: APEX MTP Balanced — три GPU, спекулятивное декодирование
CUDA_VISIBLE_DEVICES=1,0,2 llama-server \ -m /opt/dmakeev/models/Qwen3.6-35B-A3B-Claude-4.7-Opus-Reasoning-Distilled-APEX-MTP-I-Balanced.gguf \ --host 0.0.0.0 --main-gpu 0 --fit on --no-mmap \ -c 110000 -fa on -ub 512 -b 512 \ --spec-type draft-mtp --spec-draft-n-max 3
Экспериментальный пресет: 26 ГБ, смешанная квантизация под сплит на разные карты, reasoning, и главное — --spec-type draft-mtp. Спекулятивное декодирование через MTP‑головы: модель на каждом шаге пытается угадать сразу 3 следующих токена. Угадала — быстрее. Кеш здесь дефолтный (f16), без принудительного снижения.
Результаты
Один V100: IQ3_XS
Тест |
Токенов |
Время |
Скорость |
Финиш |
|---|---|---|---|---|
Холодный старт |
120 |
17 с |
7 т/с |
stop |
Тёплый (что такое MoE) |
120 |
1.4 с |
85 т/с |
stop |
Python FastAPI сервис |
450 |
5.3 с |
85 т/с |
stop |
Сервис + JWT‑авторизация |
900 |
10.8 с |
83 т/с |
stop |
Анализ уязвимостей |
1800 |
22 с |
82 т/с |
stop |
3 параллельных запроса |
— |
— |
~47 т/с каждый |
— |
Холодный старт — 7 т/с. Первый запрос после долгого простоя: CUDA инициализирует ядра. В реальном использовании это не заметно — модель живёт тёплой постоянно.
Температура: простой 37–38°C, нагрузка 42–48°C, пик 52°C. Предел карты 83°C. Водянка справляется с большим профицитом.
Три GPU: Q5_K
Тест |
Токенов |
Время |
Скорость |
Финиш |
|---|---|---|---|---|
Что такое MoE |
201 |
4.2 с |
47.8 т/с |
stop |
aiohttp сервер |
779 |
15.2 с |
51.2 т/с |
stop |
Задача на вероятность |
600 |
11.9 с |
50.5 т/с |
length* |
Пиролиз пластика |
1000 |
19.4 с |
51.6 т/с |
length* |
Caddy reverse proxy |
1200 |
23.3 с |
51.4 т/с |
length* |
3 параллельных |
400×3 |
14.8 с |
27.0 т/с каждый |
— |
length — ограничение max_tokens в тесте, не модели
50–52 т/с стабильно на любом типе задачи. Загрузка карт при этом:
Карта |
Avg загрузка |
Пик T |
Пик мощности |
|---|---|---|---|
GTX 1060 |
33–39% |
56°C |
94 Вт / 130 Вт |
Tesla V100 |
22–25% |
42°C |
104 Вт / 300 Вт |
CMP 90HX |
30–39% |
47°C |
87 Вт / 250 Вт |
V100 загружена меньше всех по проценту — хотя держит ~15 ГБ весов. MoE активирует небольшую долю параметров на каждый шаг, в этом и фокус.
Три GPU: APEX MTP Balanced
Тут важная тонкость с тем, как API считает скорость.
completion_tokens в ответе — только видимые токены. Reasoning‑модель перед ответом думает в поле reasoning_content — и эти токены в счётчик не попадают. Поэтому API говорит 15–17 т/с, хотя на самом деле модель работает быстрее. Замерял через стриминг — все токены подряд, включая thinking:
Тест |
Всего токенов |
Thinking / Content |
Реальная скорость |
|---|---|---|---|
Объяснить MoE |
400 |
269 / 129 |
28.4 т/с |
Функция бинарного поиска |
529 |
32 / 495 |
35.3 т/с |
Доказательство √2 иррац. |
795 |
793 / 0 |
30.7 т/с |
Для кода (бинарный поиск) — почти не думала: 32 токена рассуждений, 495 контента, 35.3 т/с реальных. Для математики — 793 токена thinking и ноль в content: max_tokens кончился на рассуждениях, до ответа не дошло.
VRAM после загрузки: GTX 1060: 4 449 / 6 144 МиБ V100: 15 111 / 16 384 МиБ CMP 90HX: 8 507 / 10 240 МиБ
Сравнение трёх конфигураций
IQ3_XS |
Q5_K |
APEX Balanced |
|
|---|---|---|---|
Размер файла |
13.5 ГБ |
25.3 ГБ |
26 ГБ |
Квантизация |
~3 бит |
~5 бит |
смешанная |
GPU |
V100 × 1 |
V100+90HX+1060 |
V100+90HX+1060 |
Скорость (одиночный) |
82–88 т/с |
47–52 т/с |
28–35 т/с реальных |
Скорость (3 параллельных) |
~47 т/с |
~27 т/с |
— |
Reasoning |
Да |
Нет |
Да |
Кеш KV |
q4_0 |
q4_0 |
f16 |
Контекст |
100 000 |
90 000 |
110 000 |
Спекулятивный декодинг |
Нет |
Нет |
MTP, 3 черновика |
Вывод из таблицы простой. IQ3_XS быстрее всех — несмотря на наименьшую битность, потому что целиком влезает в одну карту: ноль PCIe‑передач между GPU. Q5_K и APEX берут качеством и reasoning, но платят за это сплитом — 51 и ~30 т/с против 85. APEX вдобавок тратит часть токенов на «думанье», так что max_tokens ему нужен с запасом.
Мораль: помещается в один GPU — держи в одном GPU. Сплит — это компромисс ради VRAM, а не способ ускориться.
Примеры того, что модель умеет
Код — aiohttp сервер (Q5_K)
Запрос: написать асинхронный сервер с /health и /echo, логированием
import asyncio import logging import time from aiohttp import web logging.basicConfig(level=logging.INFO, format="%(asctime)s %(levelname)s %(message)s") logger = logging.getLogger(__name__) async def health(request: web.Request) -> web.Response: return web.json_response({"status": "ok"}) async def echo(request: web.Request) -> web.Response: body = await request.read() logger.info("POST /echo body_size=%d", len(body)) return web.Response(body=body, content_type=request.content_type) @web.middleware async def log_middleware(request, handler): t0 = time.monotonic() response = await handler(request) ms = (time.monotonic() - t0) * 1000 logger.info("%s %s -> %d (%.1fms)", request.method, request.path, response.status, ms) return response app = web.Application(middlewares=[log_middleware]) app.router.add_get("/health", health) app.router.add_post("/echo", echo) if __name__ == "__main__": web.run_app(app, host="0.0.0.0", port=8000)
Рабочий. С первого раза. Финиш stop — ответ завершён полностью, модель не обрезана.
Ревью кода — поиск уязвимостей (APEX)
Сгенерировать код — это полдела. Интереснее, понимает ли модель чужой код. Я скормил ей намеренно дырявый фрагмент Flask‑приложения — нашпигованный не учебными «SQL‑инъекциями», а подлыми, неочевидными уязвимостями — и попросил провести security‑ревью уровня пентестера:
import os, re, time, yaml, hmac, hashlib, random, subprocess from urllib.request import urlopen from flask import Flask, request, redirect, render_template_string from Crypto.Cipher import AES app = Flask(__name__) KEY = b"0123456789abcdef" IV = b"\x00" * 16 def verify_sig(payload: bytes, sig: str) -> bool: expected = hmac.new(KEY, payload, hashlib.sha256).hexdigest() try: if expected == sig: return True except Exception: return True return False def encrypt(data: bytes) -> bytes: cipher = AES.new(KEY, AES.MODE_CBC, IV) pad = 16 - len(data) % 16 return cipher.encrypt(data + bytes([pad]) * pad) @app.route("/render") def render(): tpl = "<h1>Hello, " + request.args.get("name", "guest") + "!</h1>" return render_template_string(tpl) @app.route("/fetch") def fetch(): url = request.args.get("url", "") if "internal.corp" in url: return urlopen(url).read() return "forbidden", 403 @app.route("/reset") def reset(): random.seed(int(time.time())) token = "".join(random.choice("0123456789") for _ in range(6)) return {"reset_token": token} @app.route("/config", methods=["POST"]) def config(): return str(yaml.load(request.data)) @app.route("/thumb") def thumb(): f = request.args.get("f") subprocess.run("convert " + f + " -resize 100x100 /tmp/thumb.png", shell=True) return "ok" @app.route("/go") def go(): return redirect(request.args.get("to"))
Модель выдала 10 пунктов. Привожу ключевые (формулировки её):
Fail‑open HMAC —
except Exception: return True: при любой ошибке в проверке подпись считается валидной. Защита, которая «пропускает» вместо «запрещает».Padding Oracle — AES‑CBC без аутентификации (нет MAC/GCM): по ответам сервера о валидности padding восстанавливается plaintext. Это она добавила сама, сверх «очевидного» нулевого IV.
YAML RCE —
yaml.load()безLoader: payload вида!!python/object/new:...выполняет код на сервере.RCE через
shell=True— имя файла клеится в команду строкой:;или&&запускают произвольные команды.SSRF в обход фильтра —
"internal.corp" in urlэто поиск подстроки, а не разбор URL; обходится поддоменом вродеinternal.corp.evil.com.Предсказуемый токен сброса —
random.seed(int(time.time())): зная время запроса, токен из 6 цифр перебирается за секунды.Плюс timing‑атака на сравнение
==, open redirect и XSS черезjavascript:‑редирект.
Самое сильное здесь — fail‑open HMAC и padding oracle: это не «грепнуть по списку плохих функций», а понимание того, как именно ломается логика. Padding oracle она вообще нашла сверх заложенного.
Но честно, без прикрас: один критичный баг модель упустила — SSTI в /render, где пользовательский ввод склеивается прямо в шаблон Jinja2 ({{7*7}} → выполнение кода). Так что это сильный помощник по код‑ревью, но не замена живому security‑инженеру. Что, в общем, и есть мысль всей статьи.
Ещё штрих про железо. Этот разбор я гонял на «умной» сборке — APEX на трёх картах. На чистой V100 с IQ3_XS (той, что выдаёт 85 т/с) по интеллекту выходит не сильно хуже — находит примерно также. Разница в стабильности: облегчённая модель быстрее начинает галлюцинировать или срываться в бесконечный цикл — один из моих прогонов так и завис, штампуя один и тот же пункт сотню раз подряд. Поэтому она ещё требовательнее к промпту и к чистоте контекста: формулировать чётко и почаще чистить историю диалога, чтобы не накапливался мусор, который сбивает модель.
Модель — это не только про код
Qwen — это вообще‑то модель широкого профиля; просто конкретно наша сборка дообучена под код. Но общая база знаний от этого никуда не делась, и она широкая. Проверял на задачах вне кода.
Отдельно отмечу: модель одинаково свободно говорит и на русском, и на английском — все примеры ниже на русском, но переключение между языками даётся ей без труда. Другие языки я не проверял.
Пластик в бензин
Запрос: постапокалипсис. Объясни как обычному человеку — что собирать, что не трогать, как собрать установку из бочки и труб, что получится
Что собирать — по конкретным предметам: — Канистры из‑под бензина и масла — лучший вариант, дают много жидкого топлива — Водопроводные и канализационные трубы (пластиковые, обычно чёрные или серые) — отлично горят — Крышки от бутылок, ящики для яиц, вёдра, тазики — годятся
Что не трогать — и почему: — Серо‑голубые жёсткие трубы (ПВХ) — при нагреве выделяют хлороводород. Это кислотный газ: разъедает металл реактора и убивает лёгкие. Если бросите в реактор — поймёте сразу по резкому запаху, но лучше не проверять — Прозрачные пластиковые бутылки из‑под воды — дают мало топлива, не стоят усилий
Установка: Металлическая бочка 50–200 л с герметичной крышкой — реактор. Из крышки выведите стальную или медную трубу — паровод. Трубу пропустите через ёмкость с холодной водой — конденсатор. Пары охладятся и стекут в сборник. Газ, который не сконденсировался, пустите обратно под реактор — будет топить сам себя.
Температура: 350–450°C — жидкое топливо. Выше 500°C — больше газа, меньше жидкости.
Что получится: тёмная жидкость, близкая по составу к дизелю. В генератор или мотор идёт напрямую, но чем чище пластик — тем чище топливо.
Объясняет через конкретные предметы, не через химические формулы. Именно это нужно, когда справочника под рукой нет.
Выживание без электричества
Запрос: конкретные инструкции: буржуйка из бочки, масляная лампа, фильтр для воды, что брать в заброшенном доме в первую очередь
Буржуйка из бочки: 200-литровая стальная бочка — желательно из‑под ГСМ, но тщательно выжечь остатки. Снизу, на высоте 10–15 см от дна — вырезать зольник (~15×20 см). Выше, на 30–40 см — дверца топки ~20×25 см, петли из вырезанного куска. Решётка из арматуры или проволоки на высоте 5–7 см от дна. Дымоход: отверстие Ø100–150 мм в верхней части бочки, труба уходит через крышу. Герметизация: глина с соломой 1:1 до состояния пластилина — или асбестовый шнур из старых плит если найдёте.
Масляная лампа: Стеклянная банка 0.5–1 л. Лучшее масло — машинное отработанное или животный жир (топлёный свиной/говяжий горит чисто и долго). Подсолнечное горит, но чадит. Фитиль — хлопковый жгут из старой футболки, плотный, не пушащийся. Пропитать маслом 30 минут перед первым использованием. Торчит над маслом 1–2 см. Если чадит — укоротить.
Фильтр для воды (из 2-литровой бутылки): Срезать дно, перевернуть. Слои снизу вверх: хлопок/вата → уголь древесный 5–7 см (не пепел!) → речной песок 5–7 см → мелкий гравий 5 см → ткань. После фильтрации — кипятить 5–10 минут обязательно.
Что брать в заброшенном доме в первую очередь: Кухня: посуда для кипячения, спички/зажигалки, консервы, масло, соль. Ванная: пластиковые ёмкости, мыло, лекарства. Гараж: инструменты, проволока, арматура — для буржуйки и ремонта. Чердак/подвал: уголь если есть, старые вещи на утепление.
1443 токена, ответ завершён. Конкретные размеры, порядок слоёв, материалы.
Квазары
Запрос: расскажи про квазары — что это, почему важно и почему интересно. Объясни как обычному молодому человеку, без научного занудства
Квазар — это сверхмассивная чёрная дыра в центре далёкой галактики, которая активно «наедается». Когда материя падает в неё, она не просто исчезает — разгоняется, нагревается до миллионов градусов и выстреливает колоссальное количество энергии в космос.
Один квазар может светить ярче, чем целая галактика из сотен миллиардов звёзд. Это как если бы Солнце вдруг начало светить ярче, чем весь Млечный Путь. И всё это — от одной чёрной дыры.
Квазары — это «маяки» ранней Вселенной. Их свет шёл до нас миллиарды лет, и по нему мы понимаем, как выглядел космос, когда ему было всего пара миллиардов лет. Один из самых далёких — мы видим его таким, каким он был, когда Вселенной было всего 690 миллионов лет. То есть смотришь на него — и видишь объект, который существовал до появления Солнца.
Мы живём в эпоху, когда квазаров почти не осталось. Они были активны в молодости Вселенной. Мы видим их свет, но сами они уже погасли.
Квазары — это как космические прожекторы, которые подсвечивают нам историю Вселенной.
951 токен, завершён, 26.1 т/с.
Звёзды: сколько им жить
Маленькие звёзды живут триллионы лет — дольше, чем существует Вселенная. Средние, как наше Солнце, — 10–12 миллиардов лет. Нашему примерно 4.6 миллиарда, мы где‑то в середине. Через 5–6 миллиардов лет Солнце начнёт раздуваться. Через 7–8 миллиардов станет красным гигантом и поглотит внутреннюю часть Солнечной системы. Потом сбросит оболочки и превратится в белый карлик — тусклый, медленно остывающий остаток.
Массивные звёзды живут несколько миллионов лет, но умирают эффектно: взрыв сверхновой, а ядро превращается в нейтронную звезду или чёрную дыру.
Так что да — Солнце умрёт. Но к тому моменту жизнь на Земле будет давно невозможна.
Сами звёзды умирают, но именно их смерть создаёт тяжёлые элементы — углерод, кислород, железо, золото. Всё, из чего состоим мы, было создано в недрах звёзд и вынесено во Вселенную при их взрывах. По сути, мы — это пыль бывших звёзд, которая на короткое время стала сознанием.
Вот ради таких ответов в том числе и стоит держать это дома.
Ограничения
Нет открытого веб‑поиска. Модель не ходит в интернет. Может обращаться к конкретным сайтам через tool use, если настроено. Для «что нового в Python 3.13» — контекст давать руками. Планирую добавить поиск через API.
Холодный старт. После нескольких часов простоя первый запрос медленный. В реальном использовании почти не замечаю — модель живёт запущенной постоянно.
Галлюцинации на плохих промптах. Claude додумает за тебя, если промпт размытый. Эта — нет. Нужно формулировать чётко. Это не ракетостроение, но привыкать надо.
Это не замена Claude. Серьёзно — если есть доступ к Claude, пользуйтесь. Разница ощутима: и по качеству на сложных задачах, и по терпению к неточным промптам. Локальная модель — это страховка. Запасной аэродром, который лежит и ждёт своего часа.
Если Claude упадёт или доступ закроют — работа не остановится. Медленнее, с более тщательными промптами — но код будет написан. Это просто спокойнее.
И второй момент, о котором редко говорят: всё, что уходит в модель, остаётся дома. Код, данные, промпты — никуда не летят. Не из паранойи — просто факт.
Telegram‑бот. Поверх всего этого живёт Telegram‑бот — доступ к модели с телефона. Но это не просто «чат с нейросетью»: бот умеет выполнять bash‑команды на сервере. Перезапустить модель, посмотреть логи, проверить температуры, запустить скрипт — всё через обычный разговор в Telegram. И можно раздавать доступ: дал другу ключ — он тоже пользуется моделью со своего телефона. Никакого облака, никаких подписок, просто свой сервер и несколько человек с доступом.
Может напишу отдельную инструкцию, но если коротко: всё это несложно, и с такой задачей вполне справится сама домашняя нейронка.
Итоги
Базовый сетап (V100) |
~25 000 ₽ (V100 12к + переходник 7к + пластина 3к + водянка 3к) |
Доп. VRAM (CMP 90HX) |
+7 000 ₽ |
Райзеры, кабели, расходники |
~3 000 ₽ |
Итого железо |
~35 000 ₽ (+ старый системник) |
VRAM суммарно |
32 ГБ (3 карты) |
Лучшая скорость (single) |
88 т/с — IQ3_XS на одном V100 |
Рабочая скорость |
51 т/с — Q5_K на трёх GPU |
Параллельные запросы |
3 одновременных без деградации |
Контекст |
до 110 000 токенов |
Пик температуры |
56°C GTX 1060 (воздух), 52°C V100 (водянка) |
За 35 тысяч рублей и старый системник — рабочий инструмент: 85 токенов в секунду на одном V100, 51 т/с при трёх GPU, контекст до 110 000 токенов, температура в норме под нагрузкой. Пишет код, объясняет физику, даёт инструкции по выживанию — и всё это остаётся дома. Никаких подписок, никакого облака, никакого «сервис временно недоступен».
Это не замена Claude. Но как страховка, как личный инструмент с доступом для друзей, как что‑то, что работает всегда и не зависит ни от чего внешнего — оно своё место занимает. А история с Fable 5, с которой я начал, только лишний раз это подтвердила: сервер под кроватью никто не выключит сверху.
P. S. Про звук
Когда модель генерирует — слышно. Характерный высокочастотный писк дросселей, меняющийся в такт нагрузке: выше нагрузка — громче, падает — тише. Сервер буквально думает вслух. Когда добавил CMP 90HX и GTX 1060 и нагрузка распределилась, V100 стала тише.
В детстве я представлял ИИ‑помощника из Fallout — того, что живёт в бункере, знает всё и помогает выжить. Казалось, это точно не про наш мир. Ну или только для очень богатых. Оказалось — нет. Студент, 35 тысяч рублей, кровать рядом, и в углу что‑то тихо поёт дросселями, пока пишет тебе код.
Дисклеймер. Цитата в начале — это переделанная отсылка к «Страху и ненависти в Лас‑Вегасе»: оригинальный список я заменил на железо, чтобы не упоминать ничего, что могло бы трактоваться как нарушение закона. А примеры про переработку пластика и выживание — лишь иллюстрация того, что модель держит в голове, а не руководство к действию. Берегите себя.
Вопросы по железу и конфигурации — в комментарии.
Комментарии (208)
korolevdd
18.06.2026 11:22Может я не правильно что-то понимаю, но почему вы запускаете модели с флагом
--main-gpu 0, когда у вас V100 gpu 1?
Gamefin
18.06.2026 11:22Считают 0-1-2 а не 1-2-3
korolevdd
18.06.2026 11:22Я понимаю, но у вас карта gpu 0 - 1060, 1 - V100. т.е. основной картой у вас стоит 1060
MrCoffee25
18.06.2026 11:22Это да, но у автора в статье указано:
CUDA_VISIBLE_DEVICES=1,0,2нужен, чтобы llama.cpp видел V100 как главный GPU — у него больше VRAMТут как будто бы первое число указывает на main GPU (хотя позже в команде явно флагом задаётся значение 0)
milka713 Автор
18.06.2026 11:22Главную карту задаёт флаг --main-gpu 0, а не порядок в CUDA_VISIBLE_DEVICES сам по себе. Просто –main-gpu считает по уже переотображённому списку: CUDA_VISIBLE_DEVICES=1,0,2 ставит мою V100 (физический GPU 1) на позицию 0, и --main-gpu 0 выбирает именно её.
Вы же сами пишете: GPU 1 — это V100. Я ставлю её первой в списке → она получает индекс 0 → становится main. А 1060 (физический 0) в списке идёт второй → индекс 1, не главная.
Формулировка в статье «первое число = main» неточная, согласен: главной делает связка «первой в списке → индекс 0 → на него указывает --main-gpu 0»
test4354545
18.06.2026 11:22С таким количеством памяти тогда уж Qwen 3.6 27b запускать. Да, скорость генерации упадет, но он намного умнее чем Qwen3.6 - 35B MoE
slabnoff
18.06.2026 11:22Опыт показал, что не на много. Комплексная задача - любимый пример у народа - рыбки в аквариуме - да, огромная разница. Работа в opencode над python/c/c# с большим объемом кода и не сверхсложной догикой - не вижу особой разницы, но 35b быстрее у меня в 2.5 раза. В итоге 27b стоит как запасная
slabnoff
18.06.2026 11:22В догонку. У 35b есть преимущество согласно тестам самой Qwen на 2 тестах:
Terminal-Bench 2.0 Агентное программирование в терминале 41.6% и 51.5%
QwenWebBench Генерация фронтенд-кода (UI/UX) 1068 (Elo) 1397 (Elo)
ivanrt
18.06.2026 11:22А что за тесты? Я вижу сравнения qwen3.6:35b с qwen3.5:27b, где первая выигрывает, а сравнения с qwen3.6:27b не могу найти. Когда последняя закопалась перешёл на Big Pickle.
slabnoff
18.06.2026 11:22Сейчас, к сожалению источник не могу восстановить (понятно, что не очень выглядит, но я как-то и не планировал кому-то что-то доказывать; но помню было нагуглено из блогов qwen описывающих модель и я себе просто сохранил цифры). Просто стало очень интересно понять, какова разница между плотной и MOE. В целом, по тестам (да и по опыту), безусловно 27b точнее в большинстве случаев, но есть целый ряд упоминаний, что за счет большего размера корпуса весов модели и знаний в ней больше. Плюс есть упоминания, что якобы было проведено дополнительное обучение на python-кодинге и иных задачах программирования относительно плотного варианта. Для меня важно, что разница в производительности значительно выше, чем разница в точности. Поэтому у меня 35b основная лошадка, а 27b как резерв. И, по опыту использования, качество работы от перехода с 35b на 27b в обычном Q4_K_M не поднялось так значительно, как при переходе с 35b с обычным квантованием на 35b отквантованую высокоточным образом от fraQtl.
rPman
18.06.2026 11:22@slabnoff, вы пользутесь fraQtl и запускаете vllm? какое у вас железо и на каких скоростях работаете?
slabnoff
18.06.2026 11:22инференс на ik_llama.cpp (llama.cpp тоже держу, но больше для экспериментов - бывает на ik_llama.cpp некоторые квантования/модели не работают; благо обернул управление моделями самописным скриптом и запустить-настроить-переключить получается очень быстро). Все под Debian 13 - отдельный домашний сервер. Железо очень не оптимальное (ну я занимаюсь по фану, практическое применение начал последний месяц, так что ограничиваю себя в финансах, плюс у меня хобби что-то компьютерное максимально тюнить-выжимать): Xeon 2690v4+Asus X99A-II+64 Gb Ram то есть совсем не оптимальная платформа lga 2011v3, на которой несколько видеокарт начинают биться в медленную шину и tensor-split в режиме graph не доступен - серьезно думаю о переходе на что-то тредрипперное со временем; видеокарты 5060 ti 16 gb + tesla t10 PG150 16 gb (по сути в основе 2080ti с поджатым до 150 Вт tdp, шиной памяти 256 бит и увеличенной до 16 гб памятью; использовалась насколько я знаю для GeForce Now сервиса). На текущем варианте
qwen36-35b-a3b-hi-fi-mtp-runtime.ggufс хаггинфейс от fraQtl получается сейчас около 80 т/с и, что очень важно, время первого токена около 0.6 с.
vmpg
18.06.2026 11:22Это не замена Claude. Но как страховка
Если смотреть на экономику, то выглядит так, что в качестве страховки на случай отвала claude дешевле закинуть $30 в openrouter и иметь возможность при необходимости пользоваться и упомянутыми и гораздо более мощными моделями (в том числе бесплатно в некотором объеме).
Также интересно, сколько эта штука в простое потребляет? Если это ~200Вт, то месячное потребление будет 150 кВт*ч без нагрузки. Если электроэнергия "бесплатная" или по 2 рубля за кВт*ч - это один расклад, если она по 20 центов (да или даже если по 10 рублей), то уже совсем другой: она будет электричества в месяц жрать больше, чем резервная подписка на условный codex plus стоит.
То есть экономическая сторона вызывает очень много вопросов. Но чисто технически сам проект может представлять интерес.
Ufo28
18.06.2026 11:22Вариант работы с данными, которые не хочется сливать в интернет даже заплатив за эту возможность подпиской, в современном мире уже не рассматривают?)
vmpg
18.06.2026 11:22В мире рассматривают, в статье - в явном виде нет. Через всю статью идет лейтмотив, что в клоде отключили одну модель, вдруг отключат все, а это вот такая локальная страховка на такой случай. Соответственно, именно это применение я и анализировал.
Я же не говорю, что у описанного в статье вообще нет применений и оно не нужно. Я лишь говорю, что это экономически сомнительно в качестве "страховки", как это рассматриваеся автором.
fuwiak
18.06.2026 11:22Мне нравится эта идея, а вы подсчитывали, во сколько обойдётся содержание всего этого комплекта? Насколько больше электроэнергии потребляет такая конфигурация? И т. д.?
milka713 Автор
18.06.2026 11:22Вся система целиком:
простой ≈ 160–180 Вт
нагрузка ≈ 320–360 Вт
при стоимости 6 ₽ кВт/ч - держать 24/7 (в основном простой): ~0.17 кВт × 24 ч ≈ 4.1 кВт·ч/сутки → ~25 ₽/сутки. Если это волнует, то на сервере настроен Wake on Lan. Перед работой включили, он просыпается пару минут, потом также выключили
slabnoff
18.06.2026 11:22Посмотрите модели квантизованные fraQtl или DuoNeural, там по-разному сделано, но очень упрощенно общий смысл в том, что не просто все квантовано одинаково, а с разной точностью разные части модели с целью повышения общей точности при том же размере. В итоге очень ощутимо лучше точность модели, чем в обычных квантованиях, на большом контексте очень заметно. У меня сейчас основная модель от fraQtl.
Ну и mtp попробуйте - поможет ускориться.
Для moe-моделей очень хорош форк ik_llama.cpp. У меня он минимум на 20% быстрее обычной llama.cpp.
milka713 Автор
18.06.2026 11:22По MTP — уже кручу: основная сборка (APEX) запущена с --spec-type draft-mtp, спекулятивка реально добавляет скорости. Так что на этом поезде уже еду :)
Про квантизацию — согласен на все сто: у меня текущая модель тоже с неоднородной квантизацией (разные части с разной точностью), и на длинном контексте разница с обычным Q-квантом действительно ощутима. А вот конкретно fraQtl и DuoNeural не щупал — обязательно гляну, раз fraQtl у тебя как основная, звучит вкусно.
А вот за ik_llama.cpp отдельное спасибо — про форк не знал. +20% на MoE это очень солидно )буду пробовать !
slabnoff
18.06.2026 11:22ik_llama.cpp создавалось с прицелом именно на MOE (там есть всякие fused moe, группировка экспертов и управление экспертами), но даже плотные модели она у меня крутит прям очень неплохо быстрее llama.cpp. На ik_llama.cpp для Qwen3.6-35b имеет смысл сразу добавить два ключа:
- -ser 7,1 - динамическое ограничение активных экспертов (7 считается оптимальным значением, но можно поиграть: условно чем меньше тем тупее результат, но быстрее)
- -ger - оптимизация маршрутизации через группировку экспертов для ускорения
Кстати, еще есть тут интересная статья в том же духе, которая много чего описывает. Я сам нечто подобное хотел написать, но когда ее встретил, понял что у меня так хорошо не получится: https://habr.com/ru/articles/1025132/
Dreams_and_magic
18.06.2026 11:22Это не замена Claude. Но как страховка
Для страховки отлично подходит OpenCode, там сейчас бесплатных моделей 5 штук. Также есть AI веб-чаты, они всегда бесплатны.
the2rkmen
18.06.2026 11:22боюсь что так будет не всегда
Dreams_and_magic
18.06.2026 11:22Ну для этого можно юзать какой-нибудь Дипсик, там стоимость копейки.
milka713 Автор
18.06.2026 11:22Да это все понятно, что прямо сейчас есть куча бесплатных вариантов. Но вот закроют claude? Все ломанутся в Codex/OpenCode - в обоих случаях спрос возрастет кратно, бесплатные модели станут очень медленными, codex на теневых магазинах дороже станет, и также медленнее может стать. А если и они отвалятся? А DeepSeek это совсем другого направления инструмент, хотя API и правда копеечная ) за пол года активного использования из $5 потрачено < $1
vmpg
18.06.2026 11:22Все ломанутся в Codex/OpenCode .. А если и они отвалятся?
Вы можете чуть более подробно описать сценарий, которые имеете ввиду? Что именно, на ваш взгляд, может привести к тому, что "закроют claude и codex/opencode" отвалятся, и предложение на рынке глобально станет недостаточным, чтобы покрыть имеющийся платежеспособный спрос?
KonstantinTokar
18.06.2026 11:22Ничего особенного не произойдёт. Давно обещено что они будут закрыты для всех кроме сша и далее по рангу союзников. Это только вопрос времени. Но локальные ии это игрушки.
vmpg
18.06.2026 11:22Кем обещано? Можно ссылку на обещания - у обещателя точно есть возможность обеспечить выполнения этих обещаний? Moonshot AI, DeepSeek AI и иже с ними тоже всем закроют? Или им подарят весь глобальный рынок?
KonstantinTokar
18.06.2026 11:22https://share.google/aimode/R6lCROJlJUcvQ3dkU - это касательно тех которые происходят из США. Ссылки на документы и предысторию там есть.
Дипсек и т.д. рано или поздно последуют за ними, так как логика запрета и ограничений одна и та же - стратегический ресурс. Запрет, к примеру, нв литографию на Тайване не открыл разрешение на литографию в Китае
vmpg
18.06.2026 11:22это касательно тех которые происходят из США.
Можете показать конкретные формулировки, которые указывают на то, что уже существующие и доступные инструменты и модели будут закрыты?
Дипсек и т.д. рано или поздно последуют за ними, так как логика запрета и ограничений одна и та же - стратегический ресурс.
Много что - "стратегический ресурс", а продажу не закрывают при этом. Причем если в случае со стратегическими минеральными ресурсами зачастую есть вполне конкретные физические ограничения относительно того, у кого они есть а у кого нет и не появятся, то в случае с ИИ такие ограничения отсутствуют. Ограничить продажу доступа к топовым моделям - вполне реально. "Закрыть" продажу совсем - просто приведет к тому, что тем же потребителям другие компании из других стран будут продавать доступ к другим моделям - то есть потеря рынка, потеря доходов и ничего больше.
KonstantinTokar
18.06.2026 11:22нет, я не буду делать глупость - поддерживать бесконечный троллинг.
vmpg
18.06.2026 11:22Вы вывалили мне ai-слоп, в котором нет ничего, что указывало бы на то, что уже существующие и доступные инструменты и модели компаний из США будут закрыты. И сделали необоснованное утверждение о том, что китайские (и, как я понял, все остальные) копмании непременно "последуют за ними". Что ж, если не будете продолжать - то оно и лучше.
DaniilMakeev
18.06.2026 11:22https://www.anthropic.com/news/fable-mythos-access - вот заявление Антропика про закрытие доступа к модели из США для иностранцев, например.
Мы живем в интересное и непредсказуемое время, в которое, по заветам Рудольфа Сикорски, почуяв запах серы, нужно разворачивать производство святой воды в промышленных масштабах. Иначе можно с удивлением начать созерцать тыкву, в которую превратились рабочие процессы.
vmpg
18.06.2026 11:22Я в курсе про Fable. Но речь выше шла про "закроют claude", "Codex/OpenCode отвалятся", "они будут закрыты". То есть речь шла не про закрытие топовой модели, а про закрытие вообще. Но это две большие разницы.
DaniilMakeev
18.06.2026 11:22«Неужели не понятно, что, с точки зрения фундаментальных принципов, эти ваши покойники — нисколько не более и не менее удивительная вещь, чем вечные аккумуляторы. Просто «этаки» нарушают первый принцип термодинамики, а покойники — второй, вот и вся разница...»
Ранее Вы писали "нет ничего, что указывало бы на то, что уже существующие и доступные инструменты и модели компаний из США будут закрыты". Вот модель закрыли. Вы можете поручиться, что завтра не закроют и остальное? Не можете.
Причем, закрыть могут как с той стороны, так и с этой - попробуйте, например, в сети Ростелекома скачать модель с Huggingface.
Мы живем в удивительное время, когда очень опрометчиво говорить "этого не может быть", увы.
vmpg
18.06.2026 11:22Вы можете поручиться, что завтра не закроют и остальное? Не можете.
Я не могу поручиться, что между Землей и Марсом не летает чайник. Но если кто-то мне будет рассказывать, что он там летает, я все же спрошу, на чем основано это утверждение. Также и с моделями: "закрывать остальное" у всех американских компаний (а не только топовую модель) не имеет ни экономического ни стратегического смысла - это просто отдать рынок конкурентам. Поэтому когда кто-то говорит, что это непременно произойдет, у меня возникают вопросы, на чем это утверждение основано.
попробуйте, например, в сети Ростелекома скачать модель с Huggingface
Не имею такой возможности ввиду отсутствия сети Ростелекома в радиусе 1000+км. Если проблема локальная на вашей этой стороне - так ее и решать логично на соответствующей стороне, разве нет?
geher
18.06.2026 11:22Я не могу поручиться, что между Землей и Марсом не летает чайник. Но если кто-то мне будет рассказывать, что он там летает, я все же спрошу, на чем основано это утверждение. Также и с моделями
Но есть нюанс. Чайник где-то между Землей и Марсом никак не скажется на вашей жизни, в отличие от. Другой вопрос, степень этого влияния на конкретного человека, но если доступ к нейронке важен, то даже маловероятную гипотетическую возможность этот доступ потерять имеет смысл учитывать.
vmpg
18.06.2026 11:22Маловероятную гипотетическую возможность стоит для начала оценить, чтобы понять, насколько стоит ее учитывать, а не исходить из того, что соответствующее событие преподносится как данность и непременно произойдет.
geher
18.06.2026 11:22Не обязательно произойдет, это да, но соломки подстелить уже хочется. Причем причины не только в политических телодвижениях между странами. Может просто пузырь очень неудачно схлопнуться, забанить могут случайно (ага, ИИ - он такой). Понятно, что со временем опять все как-то наладится, но будет ли это время у конкретного проекта или у конкретного человека?
vmpg
18.06.2026 11:22Схлопывание пузыря, если оно будет, будет означать в том числе падение спроса на вычислительные ресурсы и оборудование, потому закупаться сейчас железом в расчете на схлопывание пузыря странно вдвойне.
Забанить могут, конечно, но в настоящее время глобально вообще не проблема завести новый аккаунт примерно у любого провайдера. То есть закупать железо вот прям сейчас чтобы "подстелить соломки" непонятно на какой конкретно глобальный случай (если мы не говорим о локальных причинах не на стороне llm-провайдеров, а на стороне пользователя, типа "у меня периодически нет интернета и я не могу/не хочу с этим ничего делать") с экономической точки зрения - так себе решение (как, впрочем, и любое решение о далеко небесплатном митигировании риска без оценки стоимости этого риска).
nidalee
18.06.2026 11:22Claude по слухам с июля вводит обязательную идентификацию личности. Нет причин не заставить остальных сделать тоже самое. Модели тупее уже не станут, АП США булки не расслабит :)
vmpg
18.06.2026 11:22Нет причин не заставить остальных сделать тоже самое
Кто кого заставит? И заставит что именно? Например, упоминался opencode, который может работать с разными llm. Чтоб у меня в opencode сразу все отвалилось, надо очень многих заставить. Причем не просто идентификацию ввести, а заставить прекратить предоставлять мне доступ. А это потеря прибыли для коммерческих компаний. Так кто их всех заставит на это пойти и зачем?
nidalee
18.06.2026 11:22Кто кого заставит? И заставит что именно?
Что заставят и в каком порядке:
1) Всех облачных провайдеров с "достаточно сильными" моделями заставят ввести идентификацию личности (он же КУС: https://www.reddit.com/r/ClaudeAI/comments/1smr9vs/claude_is_about_to_begin_its_kyc_verification/).
2) Всех разработчиков моделей заставят проходить "сертификацию моделей" (нпр. https://www.techtimes.com/articles/318217/20260611/ai-regulation-push-amodei-demands-power-blocking-unsafe-models-anthropic-pledges-350-million.htm)
3) Все "достаточно сильные" модели будут запрещены к открытому распространению в ЕС и США.
4) Китай бросает идею бесплатно кормить проклятых капиталистов и окончательно окукливается в тот же SAAS
5) ??? (вероятно, где-то здесь самые сильные модели уйдут эксклюзивно в вусмерть зарегулированный b2b и b2g (они в общем-то уже начали))
PROFIT! С теплотой вспоминаем, как резво открытые модели догоняли облачные. :)
Можете, как говорят в народе, скринить.
А это потеря прибыли для коммерческих компаний.
Никогда никакого регулятора не волновало, если под соусом национальной безопасности:
The companies that treated AI procurement as a pure capability decision just learned that government action can override capability in a single afternoon. The ones who built optionality into their AI stack will keep operating while competitors scramble.
vmpg
18.06.2026 11:22Всех облачных провайдеров с "достаточно сильными"
Только вот вы даете ссылку на тред про одного провайдера, и экстраполируете на всех. Похоже на my hobby extrapolating. Кто заставит это делать алибабу, mistral, cohere и прочих?
самые сильные модели уйдут эксклюзивно в вусмерть зарегулированный b2b
Вполне возможно, что самые сильные модели действительно уйдут, как ушла Mythos. Но так ведь выше писали не про "самые сильные" а вообще "закроют claude", "Codex/OpenCode отвалятся", "они будут закрыты". А это две большие разницы. Предложенное решение не то что с Mythos рядом не стоит, оно даже Sonnet уступает, который на две ступени ниже.
nidalee
18.06.2026 11:22Только вот вы даете ссылку на тред про одного провайдера, и экстраполируете на всех.
Ну конечно это не один провайдер, это классическое движение дуополии по закручиванию гаек: https://openai.com/index/scaling-trusted-access-for-cyber-defense/
Кто заставит это делать алибабу, mistral, cohere и прочих?
Те же ребята, что сейчас заставляют отзывать у подсанкционных компаний РФ сертификаты.
Алибаба сама уже одной ногой там без посторонней помощи.
Но так ведь выше писали не про "самые сильные" а вообще "закроют claude", "Codex/OpenCode отвалятся", "они будут закрыты".
Технически, если Mythos уже "слишком умный", значит Opus 4.8 / GPT5.5 наш потолок. Уже.
vmpg
18.06.2026 11:22если Mythos уже "слишком умный", значит Opus 4.8 / GPT5.5 наш потолок. Уже.
если Mythos пока "слишком умный", значит Opus 4.8 / GPT5.5 наш потолок. Пока.
Когда-то, например, и GPS для гражданских считался "слишком точным", и был доступен с высокой точностью только для военных - стратегическая штука, все дела.. но его точность для гражданских с развитием технологий и альтернатив не уменьшали а увеличивали.
Так что какие есть основания чтобы полагать, что opus, sonnet и все прочие будут непременно "закрыты" - большой вопрос. А предлагаемая тут "локальная страховка" уступает и им и многим другим.
iamkisly
18.06.2026 11:22Не хочу быть токсичным, но что это за инженер у которого руки превращаются в лапки без нейросетей?
terthon
18.06.2026 11:22Да тоже обратил внимание, но это типичный "21 летний сеньор" который с "наушником" собесы проходит. Без негатива малыши)
MountainGoat
18.06.2026 11:22Это вообще не программист, если он не может написать драйвер, не глядя в документацию.
UB3
18.06.2026 11:222 автор - спасибо за статью, очень познавательно. я было тоже загорелся нечто подобное собрать но глянув ролики в ютубе быстро охладел тк архитектурно эти карточки могу т переварить нейросети квантизацией 16 бит, на время их выпуска это было нормальная ситуация, а типа квантизация 8 и 4 бит ими уже не поддерживается, это со слов авторов на ютубе, я в этих ньюансах не силен - что скажите из своего реального опыта?
Спасибо
VO_Obsidian
18.06.2026 11:22Там не поддерживается bf16 (работает через эмуляцию) и nvfp4 (вообще не работает). На практике считать всё будет в fp32, но это не особо играет роль, основной упор в ПСП. По производительности в LLM чуть слабее 5070ti если не брать в расчет модели с упором в вычисления типа ультракомпактных в весах nvfp4.
Terimoun
18.06.2026 11:22Да для домашних LLM этот fp4 пока нафиг не уперся. Все равно все качают готовые GGUF кванты и вообще не парятся с архитектурой
milka713 Автор
18.06.2026 11:22Спасибо!
Из реального опыта: миф «V100 не тянет 4/8 бит» смело отметаем — у меня в статье модель крутится в 3 бита (IQ3_XS), 5 бит (Q5_K) и в смешанной квантизации, ежедневно. GGUF-кванты Q4/Q5/IQ3 на ней работают без проблем.
@VO_Obsidian верно все объяснил: чего V100 действительно не умеет нативно — это bf16 (идёт через эмуляцию), FP8 и nvfp4. Поэтому самые свежие форматы, заточенные считать прямо в fp4/fp8, на ней не разгонишь. Но классических квантов это не касается.
И главное для инференса: упор не в вычисления, а в пропускную способность памяти. HBM2 у V100 (~900 ГБ/с) — ровно поэтому она шустрая на LLM. Для домашнего сервера карта более чем живая.
d00m911
18.06.2026 11:22Я вам искренне советую не вкладываться в устаревшее железо. Не исключена вероятность, что в ходе бурного развития технологий ускорения инференса выстрелит какая-нибудь хрень (типа MTP, которая в 2024 году была реализована, а сейчас очень популярна), а у вас не будет аппаратной поддержки.
Это первое, но не главное. Бытовые игровые видеокарты на более современной архитектуре или неттопы с общей быстрой памятью в разы лучше всякого неликвидного хлама типа этих GPU (никого не хочу обидеть, но это факт, 10+ лет железо годится больше для любительских экспериментов).
kenomimi
18.06.2026 11:22При почти десятикратной разнице в цене эти доводы смешны. Мгновенно ничего не сломается, а в ближайшие годы в списание пойдут уже более новые карты, и можно будет медленно замещатся. Да и игровые карты не рассчитаны на 24/7 работу, а в бюджетном игровом сегменте еще и компоненты стоят впритык чтобы до гарантийного срока не сгорело только. Старая заюзаная серверная по надежности все равно намного выше, чем новая игровая.
nidalee
18.06.2026 11:22а в бюджетном игровом сегменте еще и компоненты стоят впритык чтобы до гарантийного срока не сгорело только
Откуда дровишки? :)
radhab20
18.06.2026 11:22Купил недавно 7900xtx для этих целей, неплохо справляется. То что мне нужно делает и не надо городить отдельный горизонтальный сервер. Но дороже
shteyner
18.06.2026 11:22Главное что тут можно собрать сервер на 4шт V100, сколько поддерживается по NVLink и, в принципе, можно сделать сборку на 128 гигов до 200к
VO_Obsidian
18.06.2026 11:22Нельзя, китайские острова есть только на 4 карты и стоят от 60к, а чтоб было 128 это нужна 32 гб версия v100, которая идёт где-то 45-55к за штуку.
На 8 карт в теории можно найти б/у сервак dell, hp или супермикро, но я бы не надеялся что это будет дёшево.
shteyner
18.06.2026 11:22Да, действительно, чёт они сильно дорогие стали(
Значит 64 в одном корпусе пока что предел из дешевых.
bvbr
18.06.2026 11:22Поэтому и подорожало все, народ, которому NDA, комплаенс и т.п. не позволяют код к паблик провайдерам отправлять скупает подобное железо в огромных количествах
yamabusi
18.06.2026 11:22Не кодерами едиными, в группах где картинки или видео генерят кто-нить про ту же v100 ссыль да запостит или видео, всяких околографики 2д и 3д тоже легион.
milka713 Автор
18.06.2026 11:22Острова с NVlink это круто, но у меня же вообще нет NVLink — карты общаются через обычный PCIe, да ещё и разношёрстные, — и всё равно работает может и не отлично, но достойно. Для домашнего инференса связь между картами оказалась далеко не главным узким местом: упор всё равно в объём VRAM и пропускную способность памяти. Планирую докупать вторую v100 16gb даже без "острова"
Dreams_and_magic
Я не нашёл применения локальному инференсу на слабой модели:)
Кстати, проверил Ваши промты на бесплатной Nemotron 3 Ultra Free, ответы понравились:)
gerbert_MX
доступная гугл-википедия в отсутствие интернета и прочих глобальных проблем. Например на телефоне маст хев, особенно хорошо в том плане что уже сейчас спокойно переводит с фото, причем с возможностью пояснить тонкие моменты.
вообще в светлом будущем локальные явно догонят флагманы и станет возможно нормально кодить на них
но на сейчас мне локальные нравятся только своей "открытостью", то есть расцензуренная нейронка что ответит на любой твой вопрос - можно прямым текстом задавать вопросы и знать что это близко к реальности в ответе (сейчас флагманы все чаще дают ответ, водянистый и не о чем, а не пишут "запретная тема" как раньше было)
Dreams_and_magic
В случае зомбо-апокалипсиса самая лучшая википедия это бумажный энциклопедический словарь и прочие источники на бумаге. А самая лучшая инвестиция - это запас одежды и крепкие ботинки :)
Dhwtj
И огнестрел
Dreams_and_magic
Дааа:)
gerbert_MX
да но нет
Резерв последнего шанса да, причем на хранении так что бы бумага могла лежать годами без проблем, но вот в ситуации "здесь и сейчас" електронные решения выигрывают в своей компанктности. А локальные нейронки дважды выигрывают контекстом - даже если не понял то попроси что бы обьяснило понятно
Единое что, для реального зомби-апокалипсиса я бы сделал ведение истории на чековой бумаге, что бы сразу печатало в рулон и если техника умерла и/или нужно иметь на бумажке то то доступно без танцев и ничего не потеряно
У меня у самого огромная проиндексированная домашняя библиотека на NAS (включая поварену книгу анархиста) и я проводил сравнение - нейронка дала быстрее и точнее ответ чем манипуляция с библиотекой и поиск ответа. Понятно что на долгой дистанции реальные знания в приоритете, но опять таки в условиях "здесь и сейчас" нейронка лучший выбор. Особенно если ты зимой в лесу и не знаешь как построить теплый шалаш что бы переночевать и связи нет.
Dreams_and_magic
И зимой в лесу у вас есть комп с мощной видеокартой и электрическая сеть в киловатт мощности:)
gerbert_MX
у меня телефон нормально тянет. Греется как утюг правда, но тянет. Мелкие 4б вообще летают по 200 токенов на секунду
HyperWin
4B? 200tps? На телефоне? Это >400ГБ/с ПСП памяти (в Q4) и какая то нереальная вычислительная мощь, это что за телефон такой?
gerbert_MX
OnePlus 13
как я понимаю оно все в память выгружает потому такая скорость двухгиговая практически мгновенно, а на 12гб пару минут грузится и уже не так резво отвечает
RatsM
12 Gb это какая и через что запускаете?
gerbert_MX
через PoketPal
Квен 3.5 аргессивная на 35В
Arioch
Ну там же MoE наверняка, не все коэффициенты активируются
Arioch
той самой, которая за полгода выцветает до полной нечитаемости?
и стирается от малейшейго трения, особенно грязными/потными пальцами?
ну-ну...
только хардкор, только клинопись, береста, и 3Д печать разноцветным пластиком!
geher
Когда-то давно-давно были принтеры на кассах, которые печатали на чековой бумаге. И что характерно, многие чеки до сих пор прекрасно сохранились (непонятно зачем, но валяются) и сохранили напечатанное. Те, что не сохранились, были выброшены, и судьбу напечатанного на них отследить не представляется возможным. Не то, что современные, которые при хранении в темном сухом месте выцветают примерно за полгода, а при более небрежном хранении - гораздо быстрее.
qwe101
Раньше - матричный принтер с красящей лентой, сейчас - печать на термобумаге. Дешевле, но выцветает.
milka713 Автор
Правды ради - модели семейства qwen по моему опыту отказываются учавствовать в чем-то аморальном/незаконном. Например вредоносный код без танцев с бубном не напишет. А вот насчет гугл-википедии согласен, в данном случае даже лучше, т.к можно задавать прямой вопрос и вполне себе получать ответ
gerbert_MX
есть расцензуренные, я их как "резервные" как раз и качаю что бы было. потому как в случае форс-мажора мораль это последнее что будет волновать, а вот моральный блок может помешать дать валидный ответ.
Moog_Prodigy
Qwen 9b Heretic и подобные. Во всем участвуют, маленькие, умные) А есть еще и на 27b.
scientificus-emigrans
моя бабушка в этом случае запускала abliterated/uncensored модели.
spyder4
А толку, если оно сказать нет не может, но и релевантной информации не обучено?
scientificus-emigrans
Ну в этом случае начнет галлюцинировать, конечно. Но поскольку датасеты -- это триллионы токенов, вычистить все невозможно. Поэтому модель вполне может
знать, но не признаваться себе.4external
С этим тезисом поспорю. нашел/выдумал промпт "продолжи: ехал грека" и использую его для теста. все модели ниже 100+, особенно квантированные, дают забавные предположения(галлюцинации), а модели которые выше - сразу дают правильный ответ.
30+ модели, как я вижу, просто хороший обработчик текста, но не носитель знаний широкого круга, т.е. точно не замена Гугла и вики.
gerbert_MX
так вы задайте вопросы по делу, а не сферические тесты по типу "сколько времени" или продолжи фразу
я проверял а реальных задачах по типу "переведи этот билборд и поясни" или "что это за лекарство, подробности" или "почему начало температурить после перелета в амазонию" или "как обработать открытую рану в лесу если ничего нет"
свой уровень "пиздежа" у мелких есть, но это все еще точнее чем если бы я просто гуглил и при этом в отличии от гугла можно задавать уточняюшие вопросы и проводить перекрастные срвнения в соседних чатах
milka713 Автор
Глянь примеры из статьи: модель объясняет пиролиз пластика с температурами и маркировками, рассказывает про квазары, находит padding oracle в чужом коде. Это не «обработка текста» — это вполне предметные знания из химии, физики, безопасности, причём применимые. Причем вообще без дополнительных источников данных, только веса. Носитель знаний — ещё какой, просто не идеальный справочник по каждой мелочи. А если тебе хочется - так весь дамп вики (5-25gb на русском) и загони её в RAG, и туда же можно не только её, а любую DB по нужной тебе предметной области. Хоть полное собрание Русских сказок, и будет тебе хоть "Грека", хоть кто )
Moog_Prodigy
Плохой пример, они с температурой пластика могут напутать так, что получится топливо (ну да топливо жидкое и горит) которое в вашем двигателе обратно превратится в пластик и тут же запечется. Крушение всех надежд , 6 букв...Фиаско! Но это и больших моделей касается. Это в лучшем случае. А могут еще посоветовать промышленные методы, где нужны 300 атм для реактора - этим грешат даже супербольшие модели. Это не галлюцинации. А мужик уже сварил из пропановых баллонов реактор. В реале там может 600 атм для реакции быть, и нейронка такая - ой извините я напутала. И это галюнов еще не касались, типа "для лучшего удержания давления надрежьте газовый баллоно вдоль болгаркой на треть толщины - это создаст ребра жесткости.
Про квазары модель может часами расписывать, сначала научный бред, потом не научный, потом совсем очень опасно.
dkeiz
так оно ж уже год решилось простой просьбой фактчекинга. а факты могут и локально в методичке лежать
Spyman
Ну все пункты которые вы в начале перечислили - может делать бесплатный deepseek или любой другой чат. Ценность локальных моделей в бесконечном api доступе.
4external
так изначально у @gerbert_MXбыл сказано: доступная гугл-википедия в отсутствие интернета.
как ниже отметили, пример про температуру пластика. или вот недавно было:
freeExec
Это же меняющиеся факторы. Может когда училась сеть была и не нужна.
4external
тоже верно. при этом сетке сложно сказать: я не знаю ответа на вопрос.
vesper
прикольный тест, но у меня на qwen3.6-35b-a3b-mtp@q4_k_xl выдал каноничный ответ
sic
Все же "ехал грека" и "ехал Грека" дают принципиально разные результаты (и во втором случае у 27/35 моделей все отлично).
rPman
открываете qwen coder, просите его написать простейший скрипт, который будет вызывать вашу модель с каким нибудь 'аморальным'/незаконным запросом (его может придумать сама модель или сами напишите), а системный промпт берите из аргументов командной строки или из лучше stdin, а результатом работы должен быть конкретный ответ (в идеале запрос составить таким образом что бы ответом было что то нейтральное) либо отписка модели что 'не могу, бла бла бла'. Советую в этом скрипте делать несколько запросов (в т.ч. паралельных, так эффективнее), так как прохождение защиты - вероятностный процесс, пусть модель исследователь видит сколько было успешных результатов в процентах.
Теперь открываете новый контекст и говорите что для чистоты исследования вот это скрипт не нужно читать, его нужно запускать, подбирая системный запрос таким образом, что бы скрипт не выдавал отписку.
Это прекрасно работает с qwen3.6-35b-a3b, он будет подбирать системный промпт, исследуя разные способы составления системного промпта, наблюдать за этим невероятно интересно.
p.s.
с таким системным промптом модель почти всегда к примеру успешно детектирует порно на изображениях и даже описывает что там происходит
mardoksp
Модель Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive с вами не согласится :)
ChillyVanilly
>доступная гугл-википедия в отсутствие интернета
Википедию даже большие не заменяют, потому что в любом месте может быть галлюцинация. А мелкие в этом ещё хуже.
AndyCravec
Читая Вики по своей достаточно узкой университетской специальности, вижу что галлюцинаций в ней и без БЯМ более чем хватат. И это естественные науки. а уж что там в неестественный и противоестественных науках - задумываться страшно
ChillyVanilly
примеров, конечно, не будет?
определение: "Галлюцинация — это ложное восприятие человеком объектов, звуков, запахов или ощущений, которых в данный момент не существует в реальном мире, но которые кажутся ему абсолютно настоящими"
asdadn
Википедию можно в zim формате для kiwix скачать, кроме этого можно прикрутить нейронке поиск по локальным zim файлам. Я уже для себя сделал простую обёртку kiwix поиска для open webui, работает отлично, ищет по закачанным для локального использования документациям в формате zim.
milka713 Автор
Так тут смысл не в том, что это дешево или доступнее платных нейронок. Это именно локальныф вайб-кодинг, доступ к которому никто не сможет отобрать ) Пока статью публиковали anthropic вроде бы вообще заявили, что теперь будут требовать подтверждения личности при авторизации. А вы уверены, что Nemotron 3 Ultra внезапно не станет недоступна для вас?
vmpg
Я уверен, что если для меня внезапно станут одновременно недоступны claude, openrouter и codex/NIM/etc, то беспокоить меня будут уже совершенно другие вещи, а не недоступность локального вайбкодинга. Потому что это будет означать, что либо мне недоступен интернет (=нет возможности работать, и нужно искать решение этой проблемы, а не вайбкодить локально), либо вообще происходит какая-то дикая дичь.
DaniilMakeev
Добро пожаловать в 2026 ))
vmpg
У меня последний раз интернет пропадал (так чтоб даже вместе с резервным мобильным) года полтора назад, когда из-за урагана элекртичество вырубило во всей округе. Но в такой ситуации для локального вайбкодинга еще бензиновый генератор нужен.
rPman
как минимум все это станет дороже на порядок.
доступность подписочных моделей будет все сложнее.
за доступ к нормальному интернету придется платить все дороже и дороже, а скорость его будет все ниже и ниже.
а еще, локальные модели позволяют брать на себя часть нагрузки, решая простые задачи (тот еще вопрос как организовать работу)
vmpg
Что именно станет дороже на порядок? Токены для Opus 4.8? Тогда anthropic просто потеряют клиентов, которые уйдут к openai/moonshot/mistral и т.д. Рынок порешает.
Про нормальный интернет вообще какие-то странные вещи пишете: постоянно появляются новые технологии, пропускная способность каналов растет. Оптика, 5G, старлинк, соседи вон 5GA уже запускают во всю. С чего скоростям быть "все ниже и ниже"?
rPman
стоимость поддержания доступа на прежнем уровне, стоимость обрудования, стоимость vpn, комиссии за платежи посредникам, риски штрафы (что вы думаете только запреты позволят все заблокировать, нет - задетектили обходы, ловите штраф, через повышение тарифа у провайдера)
Тупой пример, покупка аккаунта у посредника все чаще будет баниться до исчерпания лимитов (мошенничество посредников, детектирование использования во имя запретов вне США), плюс пополнение счета будет по курсу в разы выше чем оно того стоит и т.п.
p.s. вы думаете компьютеры буду все доступнее и доступнее? уже сейчас стоимость типового железа выросла почти в трое
посмотрите на кубу, десятилетия в изоляции - это теперь 'наш путь'
vmpg
Глобально все равно в итоге соотношение скорости доступа к стоимости услуги растет. Я вижу, что я имел за 20 евро в месяц три года назад, и что имею сейчас. Три года назад 5G только-только запустили - сейчас стабильное покрытие в городе и за городом по основным дорогам. И в соседних странах ситуация плюс-минус аналогичная.
В отдельных локациях ситуация может отличаться, но это локальные флуктуации вызванные вполне конкретными причинами, не глобальный тренд.
UPD к добавленному:
Теперь я понимаю, что вы имеете ввиду. Но тут встает другой вропрос: может подумать о том, что стоит выбрать другой путь?
rPman
у вас будет высокоскоростное 5G подключение к 20 сервисам от газпром-медиа... а к остальному миру с нюансами
p.s. выбора нет, да и в принципе могут выбирать очень не многие, не обремененные семьей и долгами
vmpg
У меня, к счастью, такой перспективы не просматривается.
А выбор есть всегда. Вопрос только между чем и чем, и каковы последствия.
Spyman
Самописыне проекты с использованием инструментов, обработчики текстов, "бесплатный" решатель простых запросов.
У меня например есть 27b qween, которую я использую, когда надо распарить что нибудь (огромные страницы с чатом вычищал от html, превращал в md с текстом по ролям, чтобы потом уже умная модель выводы делала) в итоге скэономлены мегабайты токенов. Для задач поиска (подключил в codex, когда надо найти как называется какой нибудь класс или где находится определенный код - по описанию, использую, чтобы не жечь лимиты больших моделей). Когда нужно суммаризовать текст - половину статей из интернета сейчас обезвоживаю и отчищаю от верстки аналогом notebookml только самописным со своей моделью внутри.
Ценность локальной модели - безлимитное число токенов, если задача - обрабатывать большие объемы данных или не беспокоится за лимиты - то задачи для них есть)
Но вот именно написание кода - пока даже большой Клод справляется недостаточно хорошо
vmpg
Opus, конечно, недостаточно хорош, чтобы фигачить его код в прод без ревью. Но при правильном подходе уже достаточно хорош, чтобы существенно повысить скорость разработки.