Привет! На связи команда mClouds. В июне 2025 года вышло новое издание рейтинга TOP500, который ранжирует самые производительные суперкомпьютеры мира. Тройка лидеров сохранила свои позиции: El Capitan, Frontier и Aurora — все три системы перешагнули показатель в 1 экзафлопс и принадлежат Министерству энергетики США.

Мы решили разобраться, что скрывается за цифрами производительности: какие технологии позволили El Capitan достичь невероятных 1,742 экзафлопса, что помогло Frontier и Aurora удержаться в тройке лидеров и какие проекты могут бросить им вызов в ближайшем будущем.

Что известно о лидерах TOP500 в 2025 году

Тройка лидеров — единственные, кто преодолел экзафлопсный барьер. Вот что мы о них знаем: 

El Capitan. Содержит 11 136 вычислительных узлов с 44 544 APU AMD MI300A, что дает в сумме 11 039 616 ядер CPU и GPU. Система размещается в 87 вычислительных шкафах с жидкостным охлаждением и занимает площадь около 700 м². Подробный анализ архитектуры и возможностей этого суперкомпьютера мы провели в другой нашей статье.

El Capitan используется для обеспечения безопасности ядерного арсенала США, а также для исследований в области климата и материаловедения.

Frontier. Включает 9408 вычислительных узлов, каждый из которых содержит один CPU и четыре GPU, что дает в сумме 8 699 904 ядра. Система размещена в 74 стойках размером 19 дюймов, в каждой из которых находится 64 blade-сервера, а каждый blade содержит два вычислительных узла. 

Frontier применяется для онкологических исследований, разработки новых лекарств, моделирования термоядерного синтеза и создания новых транспортных технологий.

Aurora. Состоит из 10 624 вычислительных узлов, включающих 21 248 CPU и 63 744 GPU, что в сумме дает 9 264 128 ядер. Система также использует архитектуру blade-серверов, что обеспечивает высокую плотность размещения.

Aurora помогает ученым в моделировании климатических процессов, исследованиях в области хранения энергии, материаловедении и биомедицине.

Что внутри топовых суперкомпьютеров

Каждый из трех суперкомпьютеров использует разные аппаратные компоненты и подходы к их интеграции.

Системная модель и сетевой интерфейс

Все три лидирующих суперкомпьютера построены на платформе HPE Cray EX — модульной архитектуре, разработанной после покупки Cray компанией HPE в 2019 году за 1,3 млрд $.

El Capitan и Frontier используют компоненты AMD, а Aurora — технологии Intel. Такое разделение неслучайно: Министерство энергетики США диверсифицирует технологические решения, чтобы стимулировать конкуренцию между производителями.

Все три системы используют сеть HPE Slingshot 11, которая обеспечивает пропускную способность 200 ГБ/с на порт. Сеть построена по топологии Dragonfly — схеме соединения, в которой коммутаторы организованы в группы, а различные группы объединены между собой глобальными линиями связи. Такая организация сокращает количество необходимых кабелей и переключений между узлами: для любых двух узлов требуется не более трех переходов.

Процессоры

El Capitan оснащен процессорами AMD 4th Gen EPYC (Genoa) с 24 ядрами и тактовой частотой 1,8 ГГц. В отличие от стандартных серверов, эти процессоры не являются отдельными CPU, а интегрированы в APU AMD MI300A. Каждый MI300A представляет собой уникальное решение, объединяющее в одном корпусе 24 ядра CPU Zen 4 и 228 вычислительных блоков GPU на базе архитектуры CDNA 3. 

Хотя по числу ядер они уступают процессорам Frontier, архитектура Zen 4 обеспечивает более высокую производительность на ядро. Каждое ядро содержит вдвое больше кеша L1 и L2 по сравнению с предыдущим поколением, а кеш L3 увеличен до 32 МБ на каждые 8 ядер. Процессоры поддерживают расширения AVX-512, ускоряющие матричные операции — ключевые для научных вычислений и ИИ.

Frontier использует процессоры AMD 3rd Gen EPYC (Milan) с 64 ядрами и тактовой частотой 2 ГГц. Для Frontier была создана специальная версия этих процессоров под кодовым названием Trento, которая отличается от стандартных наличием дополнительных каналов Infinity Fabric для прямого соединения с GPU. Каждый процессор подключен к 512 ГБ памяти DDR4 с пропускной способностью 205 ГБ/с.

Aurora оборудована процессорами Intel Xeon CPU Max 9470 с 52 ядрами и тактовой частотой 2,4 ГГц. Главное отличие этих процессоров — встроенная высокоскоростная память HBM2e объемом 64 ГБ с пропускной способностью более 1 ТБ/с. Это первый массовый CPU с интегрированной HBM-памятью, что позволяет значительно ускорить обработку данных для задач с интенсивным использованием памяти. Процессор также поддерживает технологию Advanced Matrix Extensions (AMX) для ускорения операций с матрицами.

Интересно, что доля вычислительной работы, которая выполняется CPU в современных суперкомпьютерах, значительно снизилась по сравнению с предыдущими поколениями. Сегодня CPU в основном отвечают за управление потоками данных, координацию вычислений и выполнение последовательных участков кода, в то время как основные вычисления проводятся на GPU.

Графические ускорители

El Capitan использует AMD Instinct MI300A — первые в индустрии интегрированные APU для суперкомпьютеров. MI300A объединяет в одном корпусе 24 ядра CPU Zen 4 и 228 вычислительных блоков GPU на базе архитектуры CDNA 3. Каждый MI300A имеет 128 ГБ памяти HBM3 с пропускной способностью 5,3 ТБ/с, доступной как для CPU, так и для GPU-компонентов.

Frontier оснащен дискретными ускорителями AMD Instinct MI250X, каждый из которых содержит два графических вычислительных кристалла (GCD) по 110 вычислительных блоков. Таким образом, каждый физический ускоритель MI250X операционная система видит как два отдельных GPU. Каждый GCD имеет 64 ГБ памяти HBM2e с пропускной способностью 1,6 ТБ/с. MI250X обеспечивает производительность 47,9 TFLOP/s в операциях с двойной точностью, что было рекордом на момент создания Frontier.

Для соединения GPU между собой и с CPU используется технология AMD Infinity Fabric, которая обеспечивает пропускную способность 200 ГБ/с между GPU внутри одного MI250X и 100 ГБ/с между различными MI250X. 

Aurora использует ускорители Intel Data Center GPU Max Series. Каждый ускоритель содержит 128 вычислительных блоков, организованных в несколько чиплетов, соединенных с помощью технологии Intel Foveros. GPU имеет 128 ГБ памяти HBM2e с пропускной способностью до 3,2 ТБ/с. Особенность этих ускорителей — наличие матричных движков (XMX) для операций с тензорами, что делает их эффективными как для научных вычислений, так и для задач ИИ.

Для соединения GPU между собой в Aurora используется технология Xe Link, которая обеспечивает пропускную способность до 64 ГБ/с на линк. Это позволяет создать эффективную сеть обмена данными между множеством GPU без необходимости проходить через CPU.

Память и хранение данных

В основе El Capitan лежит унифицированная архитектура памяти благодаря APU AMD MI300A. Каждый APU имеет 128 ГБ памяти HBM3, работающей на частоте 5,2 ГГц с пропускной способностью 5,3 ТБ/с. Ключевое преимущество — память когерентно доступна как для CPU, так и для GPU-компонентов APU. Вся система содержит 5,4 петабайта (ПБ) HBM3 памяти.

Для локального хранения данных El Capitan оснащен системой Rabbit на базе NVM-Express. Это обеспечивает пропускную способность до 75 ТБ/с на чтение и 35 ТБ/с на запись, а также до 15 миллиардов операций ввода-вывода в секунду. Внешняя файловая система имеет емкость 700 ПБ и построена на базе технологии Lustre.

Frontier базируется на раздельной архитектуре памяти: 512 ГБ DDR4 для CPU и 128 ГБ HBM2e для каждого логического GPU (всего 1 ТБ HBM2e памяти на узел). Каждый узел Frontier также оснащен 4 ТБ локальной флеш-памяти, что в сумме дает 37 ПБ быстрого хранилища с пропускной способностью 75 ТБ/с на чтение и 35 ТБ/с на запись. Глобальная файловая система Orion имеет емкость 700 ПБ и состоит из двух уровней: быстрого на основе NVMe (11 ПБ, 10 ТБ/с) и емкого на основе жестких дисков (679 ПБ, 5,5 ТБ/с на чтение).

Aurora также использует раздельную модель памяти с 64 ГБ HBM для каждого CPU и 128 ГБ HBM для каждого GPU. Общий объем высокоскоростной памяти в системе составляет около 10 ПБ. 

Уникальная особенность Aurora — система хранения DAOS (Distributed Asynchronous Object Store), специально разработанная для экзафлопсных вычислений. DAOS — это объектное хранилище с прямым доступом к памяти и высокой параллельностью, которая обеспечивает пропускную способность 31 ТБ/с при общем объеме 230. 

Энергопотребление и охлаждение

Электропотребление El Capitan составляет 29 581 кВт электроэнергии при пиковой нагрузке, что дает энергоэффективность 58,9 гигафлопса/ватт. Для сравнения: этой энергии достаточно для питания примерно 30 000 домов. Система использует технологию прямого жидкостного охлаждения HPE, при которой хладагент циркулирует через пластины, контактирующие с чипами. Это позволяет отводить до 80% тепла, выделяемого компонентами, значительно эффективнее воздушного охлаждения.

На работу Frontier расходуется около 21 мегаватта с показателем энергоэффективности 54,98 гигафлопса/ватт. Система охлаждения включает четыре насоса мощностью 350 лошадиных сил, прокачивающих около 22 700 литров воды в минуту. Количество тепла, выделяемого Frontier, эквивалентно теплу от 34 000 фенов для волос, работающих одновременно.

Aurora потребляет 38 698 кВт, что делает ее наименее энергоэффективной из тройки лидеров. Система также использует жидкостное охлаждение с интегрированными в вычислительные модули контурами, что минимизирует путь хладагента и повышает эффективность теплоотвода.

Что ждет нас завтра: будущие проекты в сфере суперкомпьютеров

Сегодня разрабатываются и внедряются новые проекты, способные изменить расстановку сил в рейтинге TOP500 и предоставить ученым еще более мощные инструменты для научных исследований:

• Следующее поколение суперкомпьютеров Oak Ridge National Laboratory разрабатывается как преемник Frontier. Инженеры проектируют систему, которая будет в 3–5 раз мощнее текущей, с потенциальным выходом в следующем десятилетии. Основная проблема, которую предстоит решить, — энергоэффективность, поскольку даже современные системы потребляют электроэнергию, эквивалентную тысячам домохозяйств.

• В Японии RIKEN и Fujitsu Limited ведут разработку системы FugakuNEXT, которая призвана стать первым в мире суперкомпьютером зеттафлопсного класса (10^21 операций в секунду). Проект официально стартовал в июне 2025 года, когда Fujitsu получила контракт на проектирование базовой архитектуры, которое должно завершиться к февралю 2026 года. 

• В США Intelligence Advanced Research Projects Activity (IARPA) развивает программу Cryogenic Computer Complexity (C3) — новое поколение сверхпроводящих суперкомпьютеров. Эта технология потенциально может преодолеть ограничения традиционных полупроводниковых систем по энергопотреблению и тепловыделению. IBM, Raytheon BBN Technologies и Northrop Grumman разрабатывают технологии для этой программы, которая может привести к прорыву в вычислительной мощности.

• NVIDIA работает над следующим поколением своих архитектур после Blackwell и Hopper. Компания активно сотрудничает с ведущими технологическими корпорациями. Цель — создавать специальные чипы, оптимизированные под конкретные рабочие нагрузки, особенно в сфере искусственного интеллекта. Технология NVLink Fusion позволяет интегрировать процессоры различных производителей с GPU NVIDIA, что обеспечит большую гибкость в проектировании будущих систем.

Будущее суперкомпьютеров формируется на пересечении сразу нескольких ключевых направлений. С одной стороны, это развитие новых технологий памяти, таких как селекторная память (SOM), память с фазовым переходом (PCRAM) и магниторезистивная RAM (MRAM). Эти технологии могут значительно снизить энергопотребление и повысить производительность систем памяти, что критически важно для суперкомпьютеров следующего поколения. С другой — это стремление к зеттафлопсной производительности и разработка новых архитектур. Вместе эти факторы будут определять развитие высокопроизводительных вычислений в ближайшие десятилетия и откроют новые возможности научных исследований и технологических прорывов.

А как вы считаете, какие технологии станут ключевыми для следующего поколения суперкомпьютеров? Будет ли это революционный прорыв в квантовых вычислениях, появление нейроморфных архитектур, использование фотоники или, возможно, что-то совершенно неожиданное?