В течение многих лет InfiniBand был предпочтительным выбором для высокопроизводительных вычислений и межсоединений в среде искусственного интеллекта. Его низкая стоимость... задержка Тесная интеграция с экосистемой NVIDIA NVLink сделала его очевидным выбором для связи между графическими процессорами.
В 2025 году это мнение изменилось. Исследование показало, что... Группа Делл'Оро и Группа 650 Подтверждено, что Ethernet обогнал InfiniBand по внедрению в сети для ИИ, чему способствовали снижение затрат, зрелость экосистемы и быстрое улучшение RDMA по сравнению с конвергентным Ethernet (RoCEv2).
Рыночные показатели подтверждают это. По данным статистики, рынок Ethernet 400G в 2025 году оценивался примерно в 4,8 миллиарда долларов США, а к 2034 году, по прогнозам, достигнет 16,2 миллиарда долларов США. Dataintelo — комплексное изменение в том, как гипермасштабные компании, облачные провайдеры и корпоративные команды по разработке искусственного интеллекта создают свои инфраструктуры.
RoCEv2 обеспечивает от 85 до 95 процентов пропускной способности InfiniBand при правильной настройке, но при этом обходится значительно дешевле. Ключевыми факторами стали приоритетное управление потоком (PFC), явное уведомление о перегрузке (ECN) и улучшения встроенного ПО сетевой карты, которые снизили накладные расходы на повторную передачу.
Главное преимущество RoCEv2 перед InfiniBand в масштабируемом режиме — это гибкость экосистемы. Его можно использовать на стандартных коммутаторах Ethernet, получать совместимые оптические модули от разных поставщиков и избегать привязки к проприетарному оборудованию, из-за чего расширение или модификация кластеров InfiniBand обходятся дорого. Netpilot и Сеть Сферон В своих анализах инфраструктуры ИИ оба исследователя отметили, что гибкость все чаще становится решающим фактором для команд, занимающихся масштабными разработками.
Для большинства задач ИИ, за исключением высокопроизводительных вычислительных сред, наиболее чувствительных к задержкам, разница в пропускной способности между InfiniBand и RoCEv2 по 400G Ethernet меньше, чем разница в стоимости. В настоящее время этот компромисс отдает предпочтение Ethernet для большинства новых кластеров с графическими процессорами.
Структура трафика в кластере для обучения ИИ принципиально отличается от структуры трафика в традиционном центре обработки данных.
В распределенной задаче обучения каждый графический процессор должен синхронизировать градиенты с каждым другим графическим процессором на этапе полного редукции. В кластере из 512 или 1024 графических процессоров это создает масштабную схему обмена данными между всеми. Потребность в пропускной способности не является импульсной в традиционном смысле — она постоянная, повторяющаяся и очень чувствительна к скачкам задержки.
При скорости 100 Гбит/с один графический процессор может полностью загрузить свой сетевой канал во время выполнения всех проходов reduce. В этом случае графический процессор зависает и ждет. Загрузка падает. Время обучения увеличивается. В кластере, выполняющем задачу, стоимость вычислений которой составляет тысячи долларов в час, даже снижение загрузки графического процессора на 10-15 процентов из-за зависаний сети напрямую приводит к неэффективному использованию бюджета.
400 Гбит/с на порт обеспечивают запас пропускной способности для обработки такого трафика без создания обратного давления. В сочетании с коммутацией с низкой задержкой и настройкой RoCEv2 это позволяет поддерживать GPU Высокая степень использования ресурсов и предсказуемость тренировочных запусков.
Не каждая команда использует кластеры из 1000 графических процессоров. Но порог, при котором 100 Гбит/с становятся ограничением, ниже, чем большинство ожидает. Пройдитесь по этому контрольному списку.
Загрузка графического процессора снижается во время обучения, но не во время вывода результатов. Это самый очевидный сигнал. Если ваши графические процессоры заняты во время одноузлового инференса, но простаивают во время многоузлового обучения, то узким местом является сеть, а не вычислительные ресурсы.
Ваш шаг с полным уменьшением амплитуды занимает больше времени, чем ваш пас вперед. Проанализируйте свою задачу обучения. Если синхронизация градиентов потребляет больше времени, чем прямой и обратный проходы вместе взятые, значит, ваша сеть ограничена её производительностью.
В каждом задании на обучение используется более 8 графических процессоров. При использовании 8 графических процессоров на одном узле с NVLink часто можно полностью избежать межузлового трафика. Однако при масштабировании за пределы одного узла вся связь между графическими процессорами осуществляется через сеть. При 16, 32 или 64 графических процессорах каналы связи 100G становятся пределом.
В процессе обучения загрузка вашей коммутационной сети превышает 70 процентов. Длительная загрузка сети 100G выше 70 процентов во время выполнения задач искусственного интеллекта означает отсутствие запаса для всплесков трафика. За этим следуют потери пакетов и повторные передачи, и RoCEv2 обрабатывает их менее корректно, чем TCP.
Вы планируете внедрить более крупные модели в течение следующих 12 месяцев. Для моделей с 70 миллиардами и более параметров требуется больше данных градиента на каждый шаг синхронизации. Если ваша текущая архитектура уже почти заполнена меньшей моделью, то большая модель не поместится.
Ваши учебные задания занимают больше времени, чем прогнозировали ваши контрольные показатели. Если задача, которая должна занимать 6 часов, занимает 9, а в журналах загрузки графического процессора отображается время простоя, то наиболее вероятным объяснением является проблема с сетью, прежде чем начинать настройку чего-либо еще.
Переход на 400G — это не просто замена оптики. Архитектурные решения, которые вы примете сейчас, определят, будет ли ваш кластер масштабироваться без проблем или потребует дорогостоящей модернизации в будущем.
В 2026 году стандартной архитектурой для кластеров ИИ станет двухуровневая архитектура типа «спина-лист» с восходящими каналами 400G. Листовые коммутаторы подключаются напрямую к серверам с графическими процессорами через порты 400G QSFP-DD. Спинаовые коммутаторы агрегируют трафик между листовыми коммутаторами. Ключевым показателем является коэффициент переподписки — для рабочих нагрузок обучения ИИ желательно поддерживать коэффициент переподписки на уровне 1:1 или как можно ближе к нему на каналах «лист-спина».
Для внутристоечных и межстоечных соединений на короткие расстояния до 100 м, 400G QSFP-DD SR8 Модули на многомодовом оптоволокне являются стандартным выбором. Для соединений между рядами или по всей площади центра обработки данных на расстояние до 500 м, модули DR4 Одномодовое оптоволокно более практично. Для более длинных участков между зданиями или между модулями центров обработки данных варианты FR4 и LR4 обеспечивают дальность действия до 2 км и 10 км соответственно.
Форм-фактор во всех случаях — QSFP-DD. Он поддерживает 400 Гбит/с на одном порту и обратно совместим с инфраструктурой 100G QSFP28 там, где это необходимо. Документация по трансиверу 400G от FS.com Предоставляет полезную справочную информацию для сравнения длины и типов волокон между этими вариантами.
На скорости 100 Гбит/с разница в стоимости между OEM-трансиверами и совместимыми устройствами была значительной, но не всегда решающим фактором. На скорости 400 Гбит/с ситуация существенно меняется.
Стоимость OEM-модулей 400G QSFP-DD от Cisco или Arista составляет от 800 до 2000 долларов за единицу в зависимости от дальности действия и производителя. Для кластерной сети на 400 портов с интерфейсом Spine-Leaf требуется сотни модулей. Счет OEM-производителя только за оптику может превысить 500 000 долларов, не считая коммутаторов и кабелей.
Совместимые модули, поставляемые напрямую с завода и продающиеся на 60-90 процентов дешевле, чем у OEM-производителей, делают развертывание сетей 400G финансово целесообразным в масштабах, которые были бы полностью исключены при использовании OEM-оборудования. Проблема совместимости, которая когда-то заставляла инженеров с опаской относиться к оптике сторонних производителей, теперь решена. Модули, прошедшие проверку коммутаторами и не имеющие предупреждающих сообщений на платформах Cisco и Arista, доступны и имеются в наличии.
Компания HYTOPTODEVICE имеет в наличии следующие товары: 800G QSFP-DD DR8 в конфигурации, совместимой с Arista, и 200G QSFP56 SR4 В конфигурации, совместимой с Cisco — оба модуля совместимы без проблем, оба проверены на работоспособность без возникновения предупреждений о неподдерживаемых трансиверах. Для команд, создающих или расширяющих кластерную сеть ИИ сегодня, это модули, которые стоит оценить. Ознакомьтесь с полным каталогом и зарегистрируйте учетную запись на сайте. hytoptodevice.com .
400G Ethernet — это не будущее сетевых решений для кластеров ИИ, это настоящее. Сочетание зрелости RoCEv2, требований к пропускной способности между графическими процессорами и доказанного преимущества Ethernet по стоимости по сравнению с InfiniBand сделало 400G базовым стандартом для любого кластера, работающего с серьезным распределенным обучением в 2026 году.
Если ваша инфраструктура по-прежнему использует 100G-каналы на стороне сервера, и вы увеличиваете количество графических процессоров или размер модели, приведенный выше контрольный список покажет, достигли ли вы уже предела своих возможностей. Доступны решения этой проблемы, проверенные коммутаторами и имеющие доступную цену, что делает обновление финансово простым.
В1: Почему Ethernet 400G особенно важен для рабочих нагрузок в области искусственного интеллекта, а не просто для трафика в центрах обработки данных в целом?
Обучение A:AI генерирует устойчивый трафик синхронизации градиентов «все против всех», который принципиально отличается от типичных потоков данных между центрами обработки данных. Этап «все против всех» в распределенном обучении требует одновременной связи каждого графического процессора с каждым другим графическим процессором. При скорости 100 Гбит/с это создает задержки в сети, которые приводят к простою графических процессоров и увеличению времени обучения. Скорость 400 Гбит/с обеспечивает пропускную способность каждого порта для обработки этого трафика без обратного давления.
В2: Можно ли сравнить RoCEv2, передаваемый по сети Ethernet 400 Гбит/с, с InfiniBand для обучения ИИ?
A: При правильной настройке RoCEv2 обеспечивает от 85 до 95 процентов пропускной способности InfiniBand. Разница реальна, но невелика для большинства рабочих нагрузок ИИ, за исключением наиболее чувствительных к задержкам высокопроизводительных вычислительных приложений. Преимущества Ethernet по сравнению с InfiniBand с точки зрения стоимости и гибкости экосистемы достаточно велики, поэтому большинство новых кластеров ИИ, создаваемых в 2026 году, выбирают Ethernet, что подтверждают исследования Dell'Oro Group и 650 Group.
В3: Какой форм-фактор используют модули 400G в коммутаторах кластера AI?
A: QSFP-DD — это стандартный форм-фактор для 400G в кластерных развертываниях ИИ. Он поддерживает 400G на одном порту и обратно совместим с инфраструктурой QSFP28. OSFP — это альтернатива, используемая в некоторых конструкциях коммутаторов высокой плотности, но QSFP-DD имеет более широкую поддержку на платформах Cisco, Arista и Juniper.
В4: Сколько графических процессоров необходимо, чтобы 100 ГБ памяти стали узким местом для обучения?
A: Пороговое значение зависит от размера модели и характера обмена данными, но в качестве практического ориентира следует отметить, что при масштабировании за пределы одного узла с 8 графическими процессорами межузловой трафик начинает распространяться по всей сетевой инфраструктуре. При 16 и более графических процессорах на этапе полного редукции часто ограничивающим фактором становятся каналы связи 100G, особенно для моделей с более чем 13 миллиардами параметров.
В5: Безопасно ли использовать совместимые модули 400G QSFP-DD в коммутаторах Cisco и Arista для производственных кластеров ИИ?
A: Да, при условии, что модули проверены коммутатором и протестированы на совместимость с конкретной платформой. Проверенные коммутатором совместимые модули не выдают предупреждений о неподдерживаемых трансиверах и работают идентично модулям OEM на оптическом уровне. Компания HYTOPTODEVICE публикует результаты тестов на совместимость своих модулей для подтверждения этой оценки.
В6: Что является движущей силой прогнозируемого роста рынка Ethernet 400G?
A: По данным Dataintelo, рынок Ethernet 400G в 2025 году оценивался примерно в 4,8 миллиарда долларов США и, согласно прогнозам, достигнет 16,2 миллиарда долларов США к 2034 году. Основными факторами роста являются развитие инфраструктуры искусственного интеллекта и машинного обучения, расширение гипермасштабных центров обработки данных и модернизация транспортных сетей 5G, требующая оптических каналов большей пропускной способности.