Привет, постоянные и не очень читатели!

Были времена, когда админы дурели от этой прикормки 10 Гбит/c канала, а теперь такая пропускная способность — норма для роутера в прихожей (не у всех, но всё же).

В ЦОДах же и 100 Гбит/c уже давно никого не удивят — у гиперскейлеров (Amazon, Microsoft, Google, Alibaba, экстремистская и запрещённая в России Meta) это дефолт, в энтерпрайзе и бизнесе разных размеров — активно внедряют.

Компании уровня cloud-scale (те, что строят сервисы облачного уровня: Netflix, Spotify, Salesforce, Zoom) и гиперскейлеры уже переходят на 200 Гбит/c и тестируют 400/800 Гбит/c, ну а поскольку 200 мало чем отличается по стоимости инфраструктуры от 400, то некоторые сразу перескакивают, ведь легаси кабельное хозяйство (LC, MPO-12) всё равно не потянет эти апгрейды, надо всё перелопачивать на MPO-16, MPO-32 или новые форматы (QSFP-DD, OSFP).

В общем, накопилось у меня пару идей, как собрать всё это в едином материале: обсудить, где шайба будет через время; подумать, а надо ли оно (апгрейд) вообще — и в довесок затронуть денежные вопросы: всякие CAPEX, TCO/ROI, ₽/(Гбит/c), ($/Gbps) и прочее экономическое непотребство.

Короткий практический вывод для тех, кто все эти ваши наши лонгриды хабровские листает краем левого глаза: коммутатор + оптика и энергоэффективность — всё сильно зависит от выбора оригинальных или сторонних модулей.

Вендоры вообще говорят, что один 400 Гбит/c порт часто дешевле и эффективнее, чем четыре порта по 100 — но это правда только при некоторых допущениях (порт плотнее, оптика/энергия, не нужны независимые аплинки). Да, экономия может быть 30–50% на CAPEX, но при этом есть риск несовместимости или отказа от поддержки вендором. Всякие Cisco/Juniper/Arista любят блокировать сторонние трансиверы.

В общем, присаживаемся, ложимся или в какой там позе вы читаете — и начинаем.

Теоретическая база по сетевым оптоволоконным технологиям: каналы, кабели, оптика и т.п.

Для начала пройдёмся по терминологии, ведь освежить память лишним не бывает. А иногда вот ищешь информацию про эти все моды и трансиверы, чтобы в одном месте, но толкового мало. Плюс не все читатели хабра — админы или сетевые инженеры со стажем. Если же вы как раз из них, то сразу переходите к следующему разделу статьи: «Считаем денюжку: экономика апгрейда сети и ₽/(Гбит/c)».

Информации будет довольно много, но я затрону только самое важное и довольно сжато.

А начнём мы, как водится, с базы.

Оптоволоконные кабели и каналы

Оптоволоконный кабель (волоконно-оптический кабель) — тип кабеля, который передаёт данные с помощью световых импульсов, а не через электрические сигналы, как в меди.

Одно оптическое волокно теоретически может передавать огромный объём данных (больше 100 Терабит в секунду), но без использования волнового мультиплексирования (WDM, Wavelength Division Multiplexing) один высокоскоростной канал (например, 400 Гбит/с) занимает всю пропускную способность волокна на данной длине волны.

Один канал — это логическая/физическая полоса передачи данных внутри порта, а порт — это физический интерфейс на оборудовании (слот под трансивер или сам трансивер с разъёмом).

В простых случаях один канал = один порт (например, SFP+ с 10 Гбит/с). Но, начиная с 40 Гбит/с, 100 Гбит/с, 400 Гбит/с и выше, обычно используют Multi-lane оптику — там один порт делится на несколько физических каналов (линий), которые потом агрегируются. Например, 400GBASE-SR8 = 8×50 Гбит/c — это тип оптики для передачи данных по многомодовым (про моды дальше) оптоволоконным линиям с пропускной способностью 400 Гбит/с, его работу описывает стандарт IEEE 802.3cm (о стандартах IEEE чуть позже).

Трансиверы: от SFP до OSFP-XD

Трансиверы/модули — это устройства, которые преобразуют электрический сигнал в оптический и обратно. Они вставляются в коммутаторы, маршрутизаторы и другое сетевое оборудование.

Разновидностей там много, есть устаревшие (но где-то ещё работают), а есть экзотическое новьё. Перечислю основное:

• SFP (Small Form-factor Pluggable): Компактные модули для скоростей до 4.25 Гбит/с (1 Гбит/с, 2.5 Гбит/с). Наиболее распространены для Gigabit Ethernet.

• SFP+ (Enhanced Small Form-factor Pluggable): Разъем того же размера, что и SFP, но для скоростей до 16 Гбит/с. Стандарт для 10 Gigabit Ethernet.

• QSFP+ (Quad Small Form-factor Pluggable): Более крупные модули, объединяющие в себе 4 канала. Используются для скоростей 40 Гбит/с (4x10 Гбит/с).

• QSFP28: Модули для 100 Гбит/с (4 канала по 25 Гбит/с или 2 канала по 50 Гбит/с).

• QSFP56: В основном для 200 Гбит/с (4x50 Гбит/с PAM4), а для 400 Гбит/с чаще QSFP-DD (8x50 Гбит/с). Переходный формат, не всегда оптимален для 400 Гбит/с из-за плотности.

• QSFP-DD (Double Density): Новейшие форматы для скоростей 400 Гбит/с и 800 Гбит/с, использующие 8 каналов. Совместим с QSFP28/56. Компактный, но требует хорошего охлаждения.

• OSFP (Octal SFP): Альтернатива QSFP-DD для 400/800 Гбит/с. Больше по размеру, но лучше охлаждается.

• OSFP-XD (Extra Dense): нацелены на 1.6 Тбит/с (16×100 Гбит/с). Появляются первые прототипы. Первые коммерческие релизы от Arista/Broadcom, и реальная доступность для энтерпрайза — 2026+.

Мультиплексирование: DWDM, CWDM, параллельные линии

Теперь вернёмся к технологии мультиплексирования, она позволяет передавать несколько независимых потоков данных по одному оптическому волокну одновременно. Это достигается за счёт разделения данных по различным каналам внутри одного волокна, чтобы максимально эффективно использовать его пропускную способность.

Мультиплексирование может разделять каналы по:

• Длинам волн (λ): например, в технологии DWDM (Dense Wavelength Division Multiplexing, плотное мультиплексирование с разделением по длине волны) каждый канал передаётся на своей длине волны света (например, 1550 нм, 1551 нм и т.д.). Это как разные радиостанции на разных частотах, но в одном кабеле. Например, 80 каналов по 400 Гбит/с = 32 Тбит/с на волокно. Каналы идут очень близко друг к другу — с шагом 0,8 нм (100 ГГц) или даже 0,4 нм (50 ГГц). Это позволяет упаковать десятки и сотни каналов в одно волокно, Но оборудование дороже: нужны охлаждаемые лазеры, более точные фильтры, усилители и регенерация сигнала. Зато дальность — сотни километров и больше.

Ещё есть CWDM (Coarse Wavelength Division Multiplexing, грубое разделение по длинам волн) — тоже несколько каналов передаются по одному волокну, но длины их волн далеко друг от друга (обычно с шагом 20 нм, в диапазоне от 1270 до 1610 нм). Из-за этого каналов внутри помещается меньше — максимум до 18 каналов. Зато оборудование дешевле и проще (фильтры и мультиплексоры) — можно работать без охлаждаемых лазеров. Дальность обычно 10–20 км, иногда до 40 км.

• Параллельным дорожкам: в некоторых случаях (например, с MPO-кабелями, об этом будет дальше) используются несколько физических волокон в одном кабеле, где каждое волокно несёт свой канал — этакая параллельная передача. Параллельные соединения (MPO) дают меньшую задержку, чем DWDM, из-за отсутствия сложной обработки сигнала. Это важно для HPC (высокопроизводительных вычислений).

Есть и другие способы, вроде Time Division Multiplexing (TDM), Polarization Division Multiplexing (PDM) и Space Division Multiplexing (SDMA), но это скорее экзотика, которая редко встречается в ЦОДах.

Типы волокон: SMF и MMF

Типы волокон: бывают одномодовые (Single-Mode Fiber) и многомодовые (Multi-Mode Fiber). В многомодовом волокне свет распространяется по множеству лучей или мод, что ограничивает дальность передачи на высоких скоростях. В одномодовом волокне проходит один прямой луч, что позволяет передавать сигнал на большие расстояния с минимальными потерями.

• SMF (Single-Mode Fiber) — для больших расстояний (сотни метров и больше, вплоть до 10 км для 400 Гбит/c). Диаметр сердцевины (центральная часть, через которую проходит свет) — 8–10 микрон, источник света — лазер.

Дороже MMF, но подходит для межстоечных и межЦОДовых соединений. Но есть проблема — хроматическая дисперсия: это эффект, при котором разные длины волн света в одном волокне распространяются с разной скоростью. В результате импульсы растягиваются, начинают перекрывать друг с друга и могут вызывать ошибки при приёме данных.

• MMF (Multi-Mode Fiber) — для коротких расстояний (до 100–150 м для 400 Гбит/c). Диаметр сердцевины — 50 мкм (в старых вариантах встречается 62,5 мкм). Источник света — VCSEL-лазер (ранее применялись светодиоды, но на высоких скоростях это уже не используется). Дешевле, чем SMF, активно применяется с MPO-кабелями в параллельных сценариях (например, 400GBASE-SR8).

Но проблемы тоже есть: модовая дисперсия: разные моды проходят разное расстояние и приходят к приёмнику в разное время, из-за чего импульс растягивается. Чем длиннее волокно и выше скорость передачи, тем сильнее это растяжение, что ограничивает пропускную способность и расстояния. При этом всём хроматическая дисперсия никуда не делась.

MMF чаще всего применяют внутри серверных и залов ЦОДа для соединений между стойками, внутри стойки или на коротких линиях до 100–150 метров. Оно дешевле как по патч-кордам, так и по трансиверам, плюс монтаж и обслуживание проще. Благодаря этому MMF стало стандартом для локальных высокоскоростных подключений в ЦОДах. Ограничение одно — дальность: чем выше скорость, тем короче рабочая длина линии.

SMF чаще встречается там, где нужны большие расстояния и стабильность сигнала: на межстоечных, межсерверных и особенно межЦОДовых соединениях. В отличие от MMF, оно позволяет строить линии длиной от сотен метров до десятков и даже сотен километров без значительной потери качества. Поэтому SMF — стандартный выбор для городских и магистральных сетей, телекоммуникационных операторов и крупных ЦОДов. Внутри серверных SMF используется реже, но его всё же берут, если заранее планируется масштабирование и переход на более высокие скорости.

Стандарты IEEE и модуляция

Стандарты IEEE 802.3 — это фундамент, на котором строятся современные оптоволоконные сети. Они определяют, как данные передаются по оптике: от физического уровня (какие волокна, разъёмы, трансиверы) до способов кодирования и модуляции. Эти стандарты разрабатываются рабочей группой Института инженеров электротехники и электроники (IEEE, Institute of Electrical and Electronics Engineers) с 1980-х годов.

Теперь к двум разным методам модуляции в трансиверах: PAM4 (Pulse Amplitude Modulation 4-level) и NRZ (Non-Return-to-Zero). Для скоростей 100 Гбит/с и выше в современных ЦОДах используется модуляция PAM4 (Pulse Amplitude Modulation, 4 уровня амплитуды), которая заменила устаревший стандарт NRZ (Non-Return-to-Zero, 2 уровня).

• В NRZ (2 уровня) каждый бит кодируется как "0" или "1" (два уровня сигнала). Это просто, но ограничивает скорость передачи, так как для увеличения пропускной способности нужно повышать частоту сигнала, а это дорогое оборудование. Например, для 100 Гбит/c с NRZ часто использовали 4 линии по 25 Гбит/c (как в 100GBASE-SR4), но для 400 Гбит/c это уже неэффективно.

• PAM4 (4 уровня) кодирует 2 бита на символ (00, 01, 10, 11), удваивая пропускную способность при той же частоте. Например, 400GBASE-DR4 использует 4 линии по 100 Гбит/c, где каждая линия работает на 50 Гбод (Гбод/Gbaud равен одному миллиарду символов в секунду, где один символ обозначает передачу одного символа в секунду) с PAM4, вместо 100 Гбод с NRZ.

Так 400GBASE-DR4 использует 4 физических волокна, каждое из которых передаёт сигнал 100 Гбит/с с модуляцией PAM4. В то время как 400GBASE-FR4 использует PAM4 и DWDM (4 длины волны) для передачи 400 Гбит/с по одному волокну. Однако PAM4 чувствительнее к шуму, что требует более качественных одномодовых волокон (SMF) и трансиверов с улучшенной цифровой обработкой сигнала (DSP). Это увеличивает стоимость трансиверов на 20–50% по сравнению с NRZ, влияя на ₽/(Гбит/c), но окупается за счёт большей плотности и масштабируемости. Для 800 Гбит/c и выше уже тестируют PAM4 с FEC (Forward Error Correction), чтобы компенсировать ошибки.

Кабели и разъёмы: MPO, LC и другие

Теперь про типы оптических кабелей и интерфейсов.

• MPO (Multi-fiber Push-On) — многоволоконные разъёмы для высокоскоростных соединений в ЦОДах. Маркировка (MPO-16, MPO-32) указывает на количество волокон. То есть в MPO-16 у нас 16 оптических волокон, где 8 волокон нужны для передачи (Tx) и 8 для приёма (Rx) для full-duplex, но в breakout-режимах (например, 400 Гбит/с через 4x100 Гбит/с) это может быть 4 пары (Tx/Rx). Поэтому 400 Гбит/с порт может быть дешевле четырёх 100 Гбит/с портов — он плотнее упакован и эффективнее по энергии/оптике, но требует совместимых кабелей (MPO-16/32).

А вот MPO-32 (ещё более плотный кабель) можно использовать, например, для агрегации нескольких 400 Гбит/с каналов или для будущих стандартов (800+ Гбит/с); или же в сложных breakout-сценариях (режим разделения) — это когда один высокоскоростной порт физически или логически разбивают на несколько медленных (например, 8 × 100 Гбит/с или 2 × 400 Гбит/с).

Есть улучшенная версия MPO: MTP (Multi-fiber Termination Push-on) — это торговая марка компании US Conec, там выше точность выравнивания волокон (лучше оптический контакт, а значит меньше потерь и отражений), более надёжная механика (ресурс вставок/извлечений), возможность апгрейда ферулы — замена пинов, полировка и т. д. Совместим с MPO.

• SC (Subscriber Connector) — старый, крупный разъём прямоугольный разъём с push-pull фиксацией (фиксируется при нажатии и снимается при вытягивании). Раньше массово применялся с одномодовым и многомодовым волокном, в основном для LR/ER. До сих пор используется при миграции со старой оптики и в магистральных линиях.

• LC (Lucent Connector) — компактный разъём для коротких и средних соединений в ЦОДах и кампусах. Обычно по 1–2 волокна на кабель: одно для передачи (Tx), одно для приёма (Rx). C-кабели применяются для стандартов, использующих WDM по двум волокнам (например, FR4, LR4), в то время как для параллельных стандартов (например, SR8, DR4) требуется MPO. Простые и дешёвые, но на 400 Гбит/c плотности MPO не дадут.

• CS (Compact Single) — новый компактный интерфейс (плотнее LC на 50%). Позволяет вставлять больше каналов в один порт трансивера, что актуально для QSFP-DD и будущих 800+ Гбит/c. Используется, когда нужны высокие скорости и минимальная плотность в стойке.

• SN (Senko Nano)— специализированные многоволоконные разъёмы для сверхскоростной оптики. Могут использоваться для агрегации нескольких 400 Гбит/c каналов или будущих стандартов 1.6 Тбит и выше. Ещё редкость, но появляются в продвинутых магистральных ЦОДах.

• ST (Straight Tip) и FC (Ferrule Connector) — старые форматы разъёмов, которые почти вышли из ЦОДов, хотя FC всё ещё живёт в телекоме для точных измерений (OTDR-тестеры).

ST использует байонетный замок (вставил и повернул, как лампочку), а FC — резьбовое соединение (закручивается, как гайка). Оба крупные (ферула 2,5 мм), неудобны для высокой плотности, но когда-то были стандартом: ST чаще применяли с многомодовым волокном, FC — с одномодовым, особенно в телекомах и измерительном оборудовании. Сейчас встречаются редко, в основном в старых сетях или лабораториях.

Полировка коннекторов: FLAT, PC, UPC, APC

Теперь про типы полировки оптических коннекторов.

• Flat (Flat Polish) — самый первый тип полировки. Торец ферулы оставляли плоским, без скругления или угла. Из-за этого между двумя коннекторами почти всегда оставалась маленькая воздушная щель, что приводило к высоким отражениям и большим потерям сигнала. Flat применялся в ранних оптических системах, но уже давно вытеснен PC/UPC/APC. Сегодня можно встретить разве что в старых инсталляциях или учебных стендах.

• PC (Physical Contact) — базовый тип, сегодня почти не используется. Торец ферулы полируется так, чтобы коннекторы соприкасались плотно, без воздушной щели. Даёт лучшее качество, чем старый Flat, но возвратные потери всё равно высокие для современных скоростей (до –35 дБ).

• UPC (Ultra Physical Contact) — усовершенствованная версия PC с более точной полировкой. Возвратные потери ниже (до –50 дБ), поэтому UPC подходит для ЦОДов и большинства современных сетей. Обычно разъёмы синего цвета. Используется там, где важно низкое затухание и нет жёстких требований к отражениям (например, внутри ЦОДа, в коротких и средних линках; линки — внутренние каналы связи, бывают логическими, беспроводными и физическими).

• APC (Angled Physical Contact) — полировка под углом 8°, что сильно снижает отражения (возвратные потери до –60 дБ и лучше). Обычно разъёмы зелёного цвета. Такой тип нужен в системах, где отражения критичны: длинные магистрали, DWDM, PON (это про массовый доступ в интернет по оптике — FTTH, FTTB, — где одно как правило одномодовое волокно обслуживает много пользователей через пассивные делители). Минус: APC и UPC несовместимы напрямую, их нельзя соединять друг с другом.

Разумеется, погружаться можно и дальше, но мы на этом закончим — такой теоретической базы достаточно, чтобы без проблем погрузиться в следующую часть статьи.

Считаем денюжку: экономика апгрейда сети и ₽/(Гбит/c)

Фух, выдохнули, теорию разобрали.

Внимательный читатель, недолго погуглив, может решить, что в целом-то ломать голову тут особо не надо — берёшь какой-нибудь QSFP-DD под 200 или 400 Гбит/с нужной дальности, прокладываешь MPO-16, и вот он — быстрый и недорогой апгрейд с огромным заделом на будущее. Модулей и патч-кордов по адекватным ценам на каком-нибудь али — полно.

А ещё можно в презентации для владельцев/инвесторов показать, что один 400 Гбит/c дешевле, чем четыре по 100 Гбит/c — получится красиво.

Но в реальном ЦОДе экономику апгрейда формируют десятки скрытых факторов, и часто они превращают красивый слайд из презентации в кошмар для инженеров и сисадминов.

Считать ₽/(Гбит/c) только по цене активного и пассивного оборудования — это самообман (умышленный или нет). Капитальные вложения (CAPEX) — это лишь подножие Эльбруса, ведь совокупная стоимость владения (TCO) складывается из электроэнергии, охлаждения, мониторинга, тестов, человеко-часов, SLA и поддержки. Иногда выгодная закупка здесь и сейчас превращается в высокие операционные затраты (OPEX) на горизонте нескольких лет.

Поэтому главный вопрос даже не в том, сколько стоит коммутатор, трансивер, СКС и как дорого всё это обслуживать, а в том, какой ROI получится в вашем сценарии — вот это уже настоящая экономика апгрейда.

Так что пора переходить к практическим моментам.

Уровни сетевой инфраструктуры и сценарии

Скорости по 400 и 800 Гбит/с — это всё, конечно, классно, но большинству компаний это не нужно. И важно понимать, что мы говорим не про скорость интернета в офисе, а про пропускную способность линков внутри и между дата-центрами/серверными/стойками. На разных уровнях инфраструктуры цифры отличаются.

И выбирать, разумеется, нужно с учётом размеров бизнеса и реальных задач, которые вы будете решать.

На уровне сервера (сервер↔ToR-коммутатор*) большинству компаний до сих пор хватает 10 Гбит/с на порт (базы данных, веб-сервисы, файловые хранилища), но для современных задач уже по дефолту берут 25+ Гбит/с — стоит не сильно дороже, а запас какой-никакой будет. А вот 50–100 Гбит/с обычно ставят там, где работают тяжёлые AI/ML-вычисления, GPU-фермы, HPC или в системах хранения с NVMe over Fabrics. То есть под задачу.

*Top-of-Rack, коммутация внутри стойки, находится такой свитч как правило сверху.

Между стойками и ядром сети (uplink/aggregation) — это та часть, что связывает десятки серверов в стойке с магистралью ЦОДа/офиса. Здесь малому и среднему бизнесу достаточно аплинков на 40–100 Гбит/с. Аплинк — это канал связи, который идёт от периферийного или менее крупного узла сети к центральному или более крупному узлу. В корпоративных ЦОДах стандартом становится 100 Гбит/с, а при росте нагрузок ставят 200 Гбит/с. 400 Гбит/с встречается либо в крупных ЦОДах, либо когда нужно уменьшить количество линков и коммутаторов.

На этом уровне встаёт вопрос плотности портов и oversubscription. Один порт на 400 Гбит/с м��жет быть на 30–50% выгоднее четырёх по 100 Гбит/с — меньше коммутаторов, трансиверов, патч-панелей, кабелей (но дороже) и потребления энергии (в целом), но канал должен быть загружен хотя бы на 70%. Если аплинк на 400 Гбит/с простаивает (например, когда серверы не генерят больше 25 Гбит/с), ROI уйдёт в минус — дешевле и рациональнее несколько 100-гиговых. Поэтому чаще объединяют 4 линка по 100 Гбит/c в одну логическую группу и получают пропускную способность в 400 Гбит/с, но с большей гибкостью и отказоустойчивостью (если один линк выйдет из строя, группа продолжит работать на 300 Гбит/с). Если у вас в инфраструктуре до сих пор живёт, например OM3,  то это дело не потянет 400GBASE-SR8. Нужно ставить OM4/OM5 или уходить в SMF (G.652.D). Иногда стоимость перекладки кабелей выходит дороже самих трансиверов, и тогда про ₽/(Гбит/с) стараются не говорить вслух :)

Внутри ЦОДов (магистральные коммутаторы↔ядро сети) — здесь трафик от серверов (нескольких, сотен или даже тысяч) сходится в одном месте. Enterprise обычно строят сети на 100–200 Гбит/с. Cloud-scale компании сразу смотрят на 400 Гбит/с или тестируют 800 Гбит/с (особенно там, где нужна высокая плотность east-west-трафика), чтобы не плодить лишние коммутаторы и кабельное хозяйство.

Между ЦОДом и внешними сетями. Обычным компаниям хватит канала на 10–100 Гбит/с в глобалку или в резервный ЦОД. А вот гиперскейлерам и им подобным — вряд ли. Они переходят на 400 и тестируют 800 Гбит/с для магистралей по DWDM, потому что именно на этих скоростях трафик в пересчёте на бит выходит дешевле.

Пропускная способность под размер бизнеса

Для малого и среднего бизнеса (офисные сервисы, 1–2 стойки в серверной) почти всегда хватает 10–25 Гбит/с на сервер и 40–100 Гбит/с на аплинк к ядру. Этого достаточно для виртуализации, файловых сервисов, резервного копирования и SaaS-приложений. Внутри магистраль тоже строят на 40–100 Гбит/с, а внешние каналы в глобалку или резервный ЦОД обычно ограничиваются 10–40 Гбит/с. Всё, что выше, обычно упирается в дисковую подсистему и организацию процессов, а не в ширину канала.

Для крупных компаний уровня enterprise (корпоративные ЦОДы, банковские системы, ERP) точка входа сегодня — 25–100 Гбит/с на сервер и 100 Гбит/с на агрегацию. Это покрывает бэкапы, репликацию БД и работу тысяч пользователей. Магистраль внутри ЦОДа строится на 100–200 Гбит/с, а внешние каналы к другим ЦОДам и в глобальные сети — 100 Гбит/с и выше. 200–400 Гбит/с нужны только для особых сценариев: поток транзакций в режиме 24/7 без лагов или тяжёлая OLAP-аналитика на лету.

Cloud-scale гиганты на уровне серверов применяют 50–100 Гбит/с, в агрегации и магистрали — сразу 400 Гбит/с, иногда тестируют 800 Гбит/с. Смысла вкладываться в промежуточные скорости нет — если всё равно обновляешь оптику и интерфейсы, проще прыгнуть сразу на 400.

И у самых больших (гиперскейлеров и магистральных провайдеров) вопрос уже не столько в серверах, сколько в стыковке дата-центров. Для внутренних магистралей они используют 400 Гбит/с и выше, а в DWDM-сетях тестируют 800 Гбит/с. Это не потому что круто и современно, а потому что получается реальная оптимизация — меньше оптических линий, больше данных в каждом канале и ниже цена трафика в пересчёте на один бит.

Охлаждение, питание и плотность портов

Та самая мелочь, которая может стать большой проблемой, если не учесть. На скоростях 10/40/100 Гбит/с небольшая сплит-система в серверной и/или холодный коридор закрывал все вопросы охлаждения. Но если какой-нибудь QSFP28 на 100 Гбит/с кушал всего 3–4 Вт, то QSFP-DD/OSFP на 400 Гбит/c уже 10–15 Вт. А 800 Гбит/c потребляет 20–25 Вт. Каждый трансивер генерит десятки Ватт тепла на порт, при этом 1U-коммутаторы из-за плотной компоновки греются ещё сильнее. В итоге стойка с оборудованием, включая рабочие серверы, могла бы топить дом не хуже котла.

И когда проводят апгрейд без учёта охлаждения, выясняется, что старая система охлаждения не справляется, вентиляторы воют на максимальных оборотах, а тепло никуда не уходит. И приходится экстренно решать проблему, переносить нагрузки в отдельные поды, перестраивать коридоры и переносить стойки. На бумаге апгрейд выглядел простой заменой коммутаторов, а в реальности получили ещё плюс 20–30% к CAPEX.

Зависимость от производителя, жизненный цикл оптики и совместимость

Оригинальные модули (OEM), выпущенные производителем коммутатора, гарантируют стабильный SLA, предсказуемую работу и официальную поддержку. Но минусы тоже есть: цены в 1,5–3 раза выше + привязка к вендору (Vendor lock-in). Enterprise ЦОДы чаще выбирают OEM из-за SLA (соглашений об уровне обслуживания).

Сторонние модули (third-party) стоят в кратно дешевле и позволяют значительно экономить в масштабных сетевых инфраструктурах. Сторонние модули на скоростях 400 Гбит/c (а особенно 800 Гбит/c) могут сократить CAPEX на 30–50%. Для гиперскейлеров это критично — они экономят миллионы долларов на десятках тысяч портов. И у них third-party модули — норма, так как всё работает на открытых или проприетарных платформах, где совместимость лучше.

Но сторонние модули подходят не всем: непонятные баги прошивок, несовместимость с прошивками вендоров (особенно у Cisco, Juniper); некоторые (Cisco, Juniper, Arista) и вовсе любят блокировать стороннюю оптику или отказывать в поддержке при сбоях. И вот получается, что на закупке сэкономил, но OPEX вырос — простои, диагностика, поиск багов и т.д. На скоростях до 100 Гбит/с — ещё ок, но на 400/800 Гбит важна любая мелочь.

Чем выше пропускная способность, тем сильнее зависимость от прошивок, политики вендора, SDK (на высоких скоростях трансиверы и коммутаторы часто управляются не только базовыми протоколами Ethernet/CLI, но и через программные интерфейсы производителя, те самые Software Development Kit).

Поэтому жизненный цикл инфраструктуры нужно считать заранее. Замена трансивера — больше не рядовая замена расходника, а стратегический выбор. Нужен SLA и предсказуемость? Придётся платить за OEM.

Нужна экономия? Строите сетевую инфраструктуру на открытых или стандартизированных программных и аппаратных решениях и готовы сами заниматься поддержкой? Тогда берёте железо с открытым API/SDK и ставите на него SONiC, Cumulus Linux или Open Network Linux, но придётся вкладываться в экспертизу.

Тестирование, мониторинг и диагностика

При апгрейде нужно тестировать совместимость старых/новых модулей, патч-кордов, интерфейсов — проверять всё в реальных условиях. Ведь даже OEM-модули бывают капризными. Например, 400 Гбит/c PAM4 чувствительна к BER (Bit Error Rate — это частота битовых ошибок, например, 1 бит из 10¹² может быть ошибочным), а плохой патч-корд может увеличить ошибки на 10–20%. Поэтому старый добрый подход «купил — вставил — заработало» не работает (простите за тавтологию). Нужно закладывать бюджет и время на тесты, а что это значит? Правильно — OPEX вырастет.

При этом на высоких скоростях ошибки обходятся дороже. Если на 10–40 Гбит/с можно ещё поискать неисправность вручную: где-то патч-корд подергать, посмотреть на счётчики ошибок в порту — и всё. Потери пакетов не так заметны, а поиск причины проще. На 400–800 Гбит/с даже крошечная микротрещина, грязный коннектор и перегиб волокна начинают давать лавину ошибок. Из-за высокой плотности трафика каждая минута простоя или недогрузка линии обходится очень дорого.

Поэтому без современной телеметрии (802.3bs/ck для физических ошибок, gNMI и Prometheus для централизованного мониторинга) операторы теряют килотонны времени на ручную диагностику. Эти трудозатраты, штрафы за SLA и упущенная производительность в сумме влияют на TCO. Такие расходы редко учитывают, а надо бы.

Будущее сетей — вместо выводов

Скорости 400 и 800 Гбит/с уже используют и тестируют гиперскейлеры, крупные ЦОДы. В недалёком будущем начнётся внедрение 1.6 Тбит/с (стандарт IEEE 802.3df уже заложил основу). Для такой пропускной способности потребуются новые модули, вроде OSFP-XD, и волокна с ультранизкими потерями, например G.654.E. Да, CAPEX этих решений вырастет, но в пересчёте на бит трафика это позволит снижать экономику ₽/(Гбит/с) и создавать более компактные, эффективные инфраструктуры.

Не стоит забывать и про эксперименты с оптикой с совместной упаковкой CPO (Co-Packaged Optics) — интеграция оптики прямо в чип свитча. Такая архитектура обещает снижение задержек, уменьшение энергопотребления и повышение плотности портов. Пока это технология пилотная, но Google, Broadcom и другие гиганты активно тестируют её, чтобы подготовить почву для будущих сетей.

В итоге ключевой вывод прост: планируя апгрейд сегодня, важно смотреть не только на текущие скорости и цену трансиверов, но и на стратегию развития сети на несколько лет вперёд. Будущее приходит быстрее, чем кажется, и оно требует продуманной архитектуры, гибких решений и готовности к новым стандартам.