Я хотел разработать собственный AI‑процессор, нашёл openTPU, взял FPGA за ~$50 с 4 ГБ оперативной памяти, подключил её к обычному мини‑ПК и запустил на ней большую языковую модель — и улетел в космос (в позитивном и дофаминовом смыслах).

Без NVIDIA. Без видеокарты. На открытой архитектуре, которая разработана при активном участии ИИ‑агентов.

openTPU — открытый AI‑ускоритель Felipe Sens Bonetto.

Мне стало интересно: а можно ли действительно взять такой проект с GitHub, загрузить его в физическую FPGA и запустить настоящий LLM‑инференс?

По замерам автора проекта на такой же плате:
→ Qwen3-0.6B — 31 токен в секунду
→ Qwen3.5–2B — 12 токенов в секунду
→ LFM2.5–230M — 86 токенов в секунду
→ Qwen3.5–35B — модель на 35 млрд параметров на карте с 4 ГБ памяти, 4 токена в секунду

И всё это на FPGA, которой уже далеко не первый год.

? Что я сделал:

→ Купил Xilinx Kintex-7 XC7K480T с 4 ГБ оперативной памяти на AliExpress (информация по плате: 1 и 2)
→ Подключил FPGA к MINISFORUM через PCIe
→ Собрал прошивку (bitstream) в Vivado
→ Настроил драйверы и PCIe DMA
→ Подготовил программное окружение
→ Загрузил реальные веса нейросетей
→ Запустил инференс, включая Qwen

И всё заработало!

✅ FPGA успешно определяется системой
✅ PCIe DMA передаёт данные
✅ Подсистема памяти работает
✅ Тесты инструкций процессора проходят
✅ Языковая модель выполняет инференс на FPGA

? Почему это интереснее, чем просто запуск ещё одной нейросети?

Обычно мы воспринимаем GPU как готовую платформу: покупаем видеокарту, устанавливаем CUDA и запускаем модели.

Но что, если пойти в обратную сторону?

Не подбирать железо под нейросеть, а создавать собственное железо под конкретные вычисления нейросети.

Именно для этого разрабатывают специализированные AI‑ускорители, в том числе TPU — процессоры, оптимизированные под операции машинного обучения.

Конечно, текущая плата пока не конкурент NVIDIA H100. И работающий прототип — это ещё далеко не серийный ASIC.

Но теперь можно не просто рассуждать о собственной архитектуре AI‑процессора, а экспериментировать с ней на физическом оборудовании.

? Над чем думаю дальше:

→ Более быстрая память и более мощная FPGA
→ Оценка архитектуры для собственного inference‑чипа

Мы уже используем ИИ, чтобы писать программы. Теперь ИИ проектирует процессоры, на которых сам будет работать. Раньше свой AI‑ускоритель был задачей Google и NVIDIA — сегодня прототип может собрать и испытать один инженер.

Во второй части покажу все результаты со своего стенда.

Отдельное спасибо Felipe Sens Bonetto за openTPU.

? Оригинальный проект