Всё началось с желания автономно заниматься исследованиями в области искусственного интеллекта и запускать свои эксперименты без ограничений облачных сервисов или недостаточных ресурсов рабочих кластеров. Наука и исследования давно стали для меня не только профессией, но и хобби: запускать эксперименты, сравнивать модели, тестировать свежие идеи - всё это требует собственной инфраструктуры. Именно поэтому я решил собрать GPU‑сервер «под себя» для полноценного AI‑ресёрча.

До этого опыта самостоятельной сборки серьёзного железа у меня не было, но огромное влияние оказал мой научный руководитель - делился опытом и давал ценные советы, за что я ему очень благодарен. Его помощь стала критически важной частью этого пути: без него, возможно, не вышло бы довести этот сервер до ума.

При изучении чужого опыта обнаружил, что в интернете мало конкретных материалов по домашним мульти‑GPU сборкам под задачи ресёрча(не майнинга). Хотелось найти готовое решение: закрытый корпус, много дисков и места под несколько видеокарт, но воспроизводимых и дешёвых схем сборки или даже фотографий я почти не встретил. В итоге корпус подбирал на ощупь (это уже третий корпус), много часов ушло просто на поиски нужных комплектующих. Я даже консультировался с инженерами из бигтеха, но многие детали им тоже были неочевидны.

Многое шло не по плану: были ограничения по бюджету и эксперименты с охлаждением (процессорный кулер я менял четыре раза). Честно говоря, затраты всякий раз выходили больше, чем планировал - то более длинные провода, то вентиляторы, то ещё какая‑нибудь мелочь.

Главные инсайты для меня за время сборки:

• Найти корпус под много десктопных карт - тот еще квест;

• Материнскую плату, которой можно доверять искать очень тяжело(я так и не нашёл);

• Продавцы на авито предлагают чудесные цены на новое железо.

Теперь расскажу, как именно я подошёл к процессу сборки - от выбора корпуса до конфигурации внутренних компонентов, охлаждения и питания всего этого сервера.

Корпус, в который точно всё влезет

На старте проекта бюджет был сильно ограничен, поэтому первую итерацию серверной сборки я делал в Ginzu GL180 — неплохой, дешёвый корпус, который отлично заходит для минимального сетапа, но быстро становится тесным, если хочется расширяться.

Следом попробовал Procase 4u: корпус попросторнее, но и там быстро упёрся в лимит — места для многогпу‑сборки не хватало.

Финальная (и самая удачная!) версия - двухэтажный китайский корпус, который нашёл на AliExpress (ссылка). Внутри оказалось более чем достаточно пространства под все мои хотелки: видеокарты, диски и хорошую вентиляцию. В комплекте идут съёмные перегородки и внушительный запас места под стандартные комплектующие.

Базовые внутренности

На фото ключевой этап сборки: установка двухпроцессорной серверной материнской платы Huananzhi X99-F8D Dual Plus. Почему именно два процессора? Больше ядер — больше операций предобработки данных, что критично для экспериментов, в том числе параллельных. В этой плате — 2 сокета, 8 слотов под оперативную память, 6 слотов PCIe для видеокарт, 3 M.2 NVMe и 10 SATA‑разъёмов.

Оперативная память реализована в виде 8 модулей Atermiter по 16 ГБ. Установлены два процессора Intel Xeon E5-2699A v4 — самые мощные для сокета LGA2011-3 (22 ядра на каждом). Да, иногда хочется «эпик», но стоимость AMD EPYC несравнимо выше, а производительности этих Xeon хватает, чтобы не страдать из‑за CPU‑болтнека (по крайней мере, за несколько недель использования ощутимых фризов не было).

В качестве электропитания выбраны два блока GamerStorm (DeepCool) PQ1200G WH по 1200W — такой объём питает все внутренние компоненты.

Охлаждение

В серверном корпусе с двумя процессорами возникла неожиданная проблема: высота башенного кулера может быть не больше 5 см, так как прямо над процессорами находятся другие компоненты, и выдув наверх невозможен, а подходящих кулеров с боковым обдувом для такого сокета я не нашёл вообще.

Поэтому единственным адекватным вариантом стало водяное охлаждение. Я выбрал две модели: ExeGate BlackWater-240V2.PWM и ExeGate BlackWater-120V2.PWM. Почему разный размер? Начинал с двухюнитового радиатора, примерялся к корпусу — оказалось, что большой радиатор частично мешает воздушным потокам внутри, поэтому на второй процессор пришлось взять версию с меньшим радиатором. Оставил обе водянки: оба варианта отлично справляются со своей задачей.

Результат оказался выше ожиданий: под пиковой нагрузкой температура процессоров не превышала 55°.

Для внутреннего охлаждения корпуса я решил не экономить и выбрал сверхмощные кулеры Arctic S12038-8K. Они способны вращаться на скорости до 8000 оборотов в минуту - этого вполне хватает, чтобы эффективно выдувать горячий воздух из корпуса даже при максимальной нагрузке всех компонентов.

Одна из неожиданных проблем при монтаже: кулеры оказались шире стандартных, и классические болты для крепления оказались короткими. Решили зафиксировать вентиляторы на обычные пластиковые стяжки. Такой лайфхак оказался рабочим: лишних вибраций или дребезжания не появилось, крепление вроде надёжное, а установка заняла буквально пару минут.

Установка охлаждения

На данном этапе установлены три мощных кулера с радиатором водяного охлаждения. Питание материнской платы, процессоров и части видеокарт обеспечивает чёрный бпшник. Также на фото появились два накопителя с пассивными радиаторами.

Были установлены два SSD M.2 Samsung 990 Pro по 4 ТБ - они нужны для операционной системы, хранения моделей и кода. Чтобы избежать перегрева, оба диска посажены в радиаторы Coolleo SSD-V2 (HR-10) с двумя тепловыми трубками.

Добавили вторую тройку кулеров сверху - в сумме теперь шесть мощных вентиляторов обеспечивают активную продувку всего корпуса. На процессоры установили помпы, а для максимальной теплопроводности вместо обычной термопасты использовали жидкий металл Thermal Grizzly Conductonaut. Управление оборотами всех вентиляторов реализовано через контроллер ARCTIC Case Fan Hub.

Установка дисков

За год работы с этим сервером я успел собрать шесть жёстких дисков для хранения датасетов и экспериментов:

• Seagate Barracuda 2 TB

• Seagate Barracuda 1 TB

• Seagate SkyHawk 4 TB

• WD Red 1 TB

• x2 Seagate Exos 8 TB (они брендированы как Dell EMC)

Сверху на фото видно металлическую плашку с райзерами - это та самая конструкция, к которой крепятся видеокарты. Райзеры китайские, с поворотом PCI-E слота на 90° чтобы удобно их было закрепить на этой самой пластине. Подробнее к этой плашке мы вернёмся чуть позже.

На этом фото финальный этап подключения накопителей. Все диски запитаны с помощью кабелей. Для корректной синхронизации двух блоков питания обязательно требуется специальная плата: у меня здесь стоит Espada ESP-DPSS02, она гарантирует одновременно запуск и стабильную работу всей системы. Без такой платы сервер запуск двух БПшников для питания системы, насколько я знаю, невозможен.

Установка видеокарт

В специальные крепления устанавливаются две основные планки: одна с райзерами для подключения видеокарт, вторая служит передней опорой для их фиксации. Третья точка опоры - боковая металлическая плашка, куда карты прикручиваются сбоку. Благодаря такому трёхточечному креплению ни одна видеокарта не провисает: вся конструкция жёсткая и устойчивая, даже при полной загрузке слотов.

Финальный этап сборки - установка видеокарт и обзор корпуса сверху. В этот кейс помещается максимум пять видеокарт, и для текущих задач этого более чем достаточно. Карты установлены в разнесённых слотах - так обеспечивается оптимальный обдув.

На фото сетап такой:

• RTX 4060 Ti 16 ГБ (×2)

• RTX 5060 Ti 16 ГБ (×1)

• И ещё две видюхи для полноты картины. Они не используются и поставлены для фото. На данный момент я жду две другие карты из Китая.

По мощности эти карты быстрее, чем tesla A100, хоть уступают по ширине шины памяти и объёму видеопамяти. Для экспериментов скорость всё окупает.

Финальное слово

Построить домашний мульти‑GPU сервер оказалось непросто, но очень интересно. Если подходить к задаче с практическим интересом и готовностью к экспериментам: правильный корпус, продуманное охлаждение и грамотное подключение питания позволяют собрать рабочую машину для ресёрча, которая по производительности и гибкости не уступает облачным решениям. Если вы задумались о подобной сборке, не бойтесь пробовать - процесс даёт опыт, а результат приносит реальную пользу в работе и исследовании ИИ.

Спасибо за прочтение статьи! Если интересно следить за тем, как мы используем этот сервер в научных исследованиях, подписывайтесь на мой тг канал https://t.me/KORALLLLLL и канал моего научного руководителя