WELCOME TO OUR BLOG

We're sharing knowledge in the areas which fascinate us the most
click

Обеспечение работы рабочих нагрузок искусственного интеллекта следующего поколения: почему Ethernet 400G становится обязательным требованием

От Jack August 3rd, 2026 36 просмотров
К 2026 году Ethernet 400G перестал быть перспективным инвестиционным решением и стал базовым требованием для любого серьезного внедрения искусственного интеллекта или машинного обучения. В этой статье объясняется, почему произошел этот сдвиг, что это означает для ваших решений в области инфраструктуры сегодня и как распознать, когда ваша текущая сеть 100G уже стала ограничивающим фактором.

Оглавление


Как Ethernet обогнал InfiniBand в сетях для обработки данных с использованием ИИ

В течение многих лет InfiniBand был предпочтительным выбором для высокопроизводительных вычислений и межсоединений в среде искусственного интеллекта. Его низкая стоимость... задержка Тесная интеграция с экосистемой NVIDIA NVLink сделала его очевидным выбором для связи между графическими процессорами.

В 2025 году это мнение изменилось. Исследование показало, что... Группа Делл'Оро и Группа 650 Подтверждено, что Ethernet обогнал InfiniBand по внедрению в сети для ИИ, чему способствовали снижение затрат, зрелость экосистемы и быстрое улучшение RDMA по сравнению с конвергентным Ethernet (RoCEv2).

Рыночные показатели подтверждают это. По данным статистики, рынок Ethernet 400G в 2025 году оценивался примерно в 4,8 миллиарда долларов США, а к 2034 году, по прогнозам, достигнет 16,2 миллиарда долларов США. Dataintelo — комплексное изменение в том, как гипермасштабные компании, облачные провайдеры и корпоративные команды по разработке искусственного интеллекта создают свои инфраструктуры.

Почему RoCEv2 изменил уравнение

RoCEv2 обеспечивает от 85 до 95 процентов пропускной способности InfiniBand при правильной настройке, но при этом обходится значительно дешевле. Ключевыми факторами стали приоритетное управление потоком (PFC), явное уведомление о перегрузке (ECN) и улучшения встроенного ПО сетевой карты, которые снизили накладные расходы на повторную передачу.

Главное преимущество RoCEv2 перед InfiniBand в масштабируемом режиме — это гибкость экосистемы. Его можно использовать на стандартных коммутаторах Ethernet, получать совместимые оптические модули от разных поставщиков и избегать привязки к проприетарному оборудованию, из-за чего расширение или модификация кластеров InfiniBand обходятся дорого. Netpilot и Сеть Сферон В своих анализах инфраструктуры ИИ оба исследователя отметили, что гибкость все чаще становится решающим фактором для команд, занимающихся масштабными разработками.

Для большинства задач ИИ, за исключением высокопроизводительных вычислительных сред, наиболее чувствительных к задержкам, разница в пропускной способности между InfiniBand и RoCEv2 по 400G Ethernet меньше, чем разница в стоимости. В настоящее время этот компромисс отдает предпочтение Ethernet для большинства новых кластеров с графическими процессорами.


Проблема нехватки пропускной способности ИИ: что на самом деле происходит внутри вашего кластера?

Структура трафика в кластере для обучения ИИ принципиально отличается от структуры трафика в традиционном центре обработки данных.

В распределенной задаче обучения каждый графический процессор должен синхронизировать градиенты с каждым другим графическим процессором на этапе полного редукции. В кластере из 512 или 1024 графических процессоров это создает масштабную схему обмена данными между всеми. Потребность в пропускной способности не является импульсной в традиционном смысле — она постоянная, повторяющаяся и очень чувствительна к скачкам задержки.

При скорости 100 Гбит/с один графический процессор может полностью загрузить свой сетевой канал во время выполнения всех проходов reduce. В этом случае графический процессор зависает и ждет. Загрузка падает. Время обучения увеличивается. В кластере, выполняющем задачу, стоимость вычислений которой составляет тысячи долларов в час, даже снижение загрузки графического процессора на 10-15 процентов из-за зависаний сети напрямую приводит к неэффективному использованию бюджета.

400 Гбит/с на порт обеспечивают запас пропускной способности для обработки такого трафика без создания обратного давления. В сочетании с коммутацией с низкой задержкой и настройкой RoCEv2 это позволяет поддерживать GPU Высокая степень использования ресурсов и предсказуемость тренировочных запусков.


Признаки того, что вы переросли возможности 100 Гбит/с для рабочих нагрузок ИИ.

Не каждая команда использует кластеры из 1000 графических процессоров. Но порог, при котором 100 Гбит/с становятся ограничением, ниже, чем большинство ожидает. Пройдитесь по этому контрольному списку.

Загрузка графического процессора снижается во время обучения, но не во время вывода результатов. Это самый очевидный сигнал. Если ваши графические процессоры заняты во время одноузлового инференса, но простаивают во время многоузлового обучения, то узким местом является сеть, а не вычислительные ресурсы.

Ваш шаг с полным уменьшением амплитуды занимает больше времени, чем ваш пас вперед. Проанализируйте свою задачу обучения. Если синхронизация градиентов потребляет больше времени, чем прямой и обратный проходы вместе взятые, значит, ваша сеть ограничена её производительностью.

В каждом задании на обучение используется более 8 графических процессоров. При использовании 8 графических процессоров на одном узле с NVLink часто можно полностью избежать межузлового трафика. Однако при масштабировании за пределы одного узла вся связь между графическими процессорами осуществляется через сеть. При 16, 32 или 64 графических процессорах каналы связи 100G становятся пределом.

В процессе обучения загрузка вашей коммутационной сети превышает 70 процентов. Длительная загрузка сети 100G выше 70 процентов во время выполнения задач искусственного интеллекта означает отсутствие запаса для всплесков трафика. За этим следуют потери пакетов и повторные передачи, и RoCEv2 обрабатывает их менее корректно, чем TCP.

Вы планируете внедрить более крупные модели в течение следующих 12 месяцев. Для моделей с 70 миллиардами и более параметров требуется больше данных градиента на каждый шаг синхронизации. Если ваша текущая архитектура уже почти заполнена меньшей моделью, то большая модель не поместится.

Ваши учебные задания занимают больше времени, чем прогнозировали ваши контрольные показатели. Если задача, которая должна занимать 6 часов, занимает 9, а в журналах загрузки графического процессора отображается время простоя, то наиболее вероятным объяснением является проблема с сетью, прежде чем начинать настройку чего-либо еще.


Архитектура Ethernet 400G для кластеров ИИ: что нужно сделать правильно.

Переход на 400G — это не просто замена оптики. Архитектурные решения, которые вы примете сейчас, определят, будет ли ваш кластер масштабироваться без проблем или потребует дорогостоящей модернизации в будущем.

Лист с корешком весом 400 г

В 2026 году стандартной архитектурой для кластеров ИИ станет двухуровневая архитектура типа «спина-лист» с восходящими каналами 400G. Листовые коммутаторы подключаются напрямую к серверам с графическими процессорами через порты 400G QSFP-DD. Спинаовые коммутаторы агрегируют трафик между листовыми коммутаторами. Ключевым показателем является коэффициент переподписки — для рабочих нагрузок обучения ИИ желательно поддерживать коэффициент переподписки на уровне 1:1 или как можно ближе к нему на каналах «лист-спина».

Выбор оптики для тканей AI 400G

Для внутристоечных и межстоечных соединений на короткие расстояния до 100 м, 400G QSFP-DD SR8 Модули на многомодовом оптоволокне являются стандартным выбором. Для соединений между рядами или по всей площади центра обработки данных на расстояние до 500 м, модули DR4 Одномодовое оптоволокно более практично. Для более длинных участков между зданиями или между модулями центров обработки данных варианты FR4 и LR4 обеспечивают дальность действия до 2 км и 10 км соответственно.

Форм-фактор во всех случаях — QSFP-DD. Он поддерживает 400 Гбит/с на одном порту и обратно совместим с инфраструктурой 100G QSFP28 там, где это необходимо. Документация по трансиверу 400G от FS.com Предоставляет полезную справочную информацию для сравнения длины и типов волокон между этими вариантами.


Почему использование совместимых модулей более целесообразно при 400 Гбит/с, чем при 100 Гбит/с

На скорости 100 Гбит/с разница в стоимости между OEM-трансиверами и совместимыми устройствами была значительной, но не всегда решающим фактором. На скорости 400 Гбит/с ситуация существенно меняется.

Стоимость OEM-модулей 400G QSFP-DD от Cisco или Arista составляет от 800 до 2000 долларов за единицу в зависимости от дальности действия и производителя. Для кластерной сети на 400 портов с интерфейсом Spine-Leaf требуется сотни модулей. Счет OEM-производителя только за оптику может превысить 500 000 долларов, не считая коммутаторов и кабелей.

Совместимые модули, поставляемые напрямую с завода и продающиеся на 60-90 процентов дешевле, чем у OEM-производителей, делают развертывание сетей 400G финансово целесообразным в масштабах, которые были бы полностью исключены при использовании OEM-оборудования. Проблема совместимости, которая когда-то заставляла инженеров с опаской относиться к оптике сторонних производителей, теперь решена. Модули, прошедшие проверку коммутаторами и не имеющие предупреждающих сообщений на платформах Cisco и Arista, доступны и имеются в наличии.

Компания HYTOPTODEVICE имеет в наличии следующие товары: 800G QSFP-DD DR8 в конфигурации, совместимой с Arista, и 200G QSFP56 SR4 В конфигурации, совместимой с Cisco — оба модуля совместимы без проблем, оба проверены на работоспособность без возникновения предупреждений о неподдерживаемых трансиверах. Для команд, создающих или расширяющих кластерную сеть ИИ сегодня, это модули, которые стоит оценить. Ознакомьтесь с полным каталогом и зарегистрируйте учетную запись на сайте. hytoptodevice.com .


Заключение

400G Ethernet — это не будущее сетевых решений для кластеров ИИ, это настоящее. Сочетание зрелости RoCEv2, требований к пропускной способности между графическими процессорами и доказанного преимущества Ethernet по стоимости по сравнению с InfiniBand сделало 400G базовым стандартом для любого кластера, работающего с серьезным распределенным обучением в 2026 году.

Если ваша инфраструктура по-прежнему использует 100G-каналы на стороне сервера, и вы увеличиваете количество графических процессоров или размер модели, приведенный выше контрольный список покажет, достигли ли вы уже предела своих возможностей. Доступны решения этой проблемы, проверенные коммутаторами и имеющие доступную цену, что делает обновление финансово простым.


Часто задаваемые вопросы

В1: Почему Ethernet 400G особенно важен для рабочих нагрузок в области искусственного интеллекта, а не просто для трафика в центрах обработки данных в целом?

Обучение A:AI генерирует устойчивый трафик синхронизации градиентов «все против всех», который принципиально отличается от типичных потоков данных между центрами обработки данных. Этап «все против всех» в распределенном обучении требует одновременной связи каждого графического процессора с каждым другим графическим процессором. При скорости 100 Гбит/с это создает задержки в сети, которые приводят к простою графических процессоров и увеличению времени обучения. Скорость 400 Гбит/с обеспечивает пропускную способность каждого порта для обработки этого трафика без обратного давления.


В2: Можно ли сравнить RoCEv2, передаваемый по сети Ethernet 400 Гбит/с, с InfiniBand для обучения ИИ?


A: При правильной настройке RoCEv2 обеспечивает от 85 до 95 процентов пропускной способности InfiniBand. Разница реальна, но невелика для большинства рабочих нагрузок ИИ, за исключением наиболее чувствительных к задержкам высокопроизводительных вычислительных приложений. Преимущества Ethernet по сравнению с InfiniBand с точки зрения стоимости и гибкости экосистемы достаточно велики, поэтому большинство новых кластеров ИИ, создаваемых в 2026 году, выбирают Ethernet, что подтверждают исследования Dell'Oro Group и 650 Group.


В3: Какой форм-фактор используют модули 400G в коммутаторах кластера AI?


A: QSFP-DD — это стандартный форм-фактор для 400G в кластерных развертываниях ИИ. Он поддерживает 400G на одном порту и обратно совместим с инфраструктурой QSFP28. OSFP — это альтернатива, используемая в некоторых конструкциях коммутаторов высокой плотности, но QSFP-DD имеет более широкую поддержку на платформах Cisco, Arista и Juniper.


В4: Сколько графических процессоров необходимо, чтобы 100 ГБ памяти стали узким местом для обучения?


A: Пороговое значение зависит от размера модели и характера обмена данными, но в качестве практического ориентира следует отметить, что при масштабировании за пределы одного узла с 8 графическими процессорами межузловой трафик начинает распространяться по всей сетевой инфраструктуре. При 16 и более графических процессорах на этапе полного редукции часто ограничивающим фактором становятся каналы связи 100G, особенно для моделей с более чем 13 миллиардами параметров.


В5: Безопасно ли использовать совместимые модули 400G QSFP-DD в коммутаторах Cisco и Arista для производственных кластеров ИИ?


A: Да, при условии, что модули проверены коммутатором и протестированы на совместимость с конкретной платформой. Проверенные коммутатором совместимые модули не выдают предупреждений о неподдерживаемых трансиверах и работают идентично модулям OEM на оптическом уровне. Компания HYTOPTODEVICE публикует результаты тестов на совместимость своих модулей для подтверждения этой оценки.


В6: Что является движущей силой прогнозируемого роста рынка Ethernet 400G?


A: По данным Dataintelo, рынок Ethernet 400G в 2025 году оценивался примерно в 4,8 миллиарда долларов США и, согласно прогнозам, достигнет 16,2 миллиарда долларов США к 2034 году. Основными факторами роста являются развитие инфраструктуры искусственного интеллекта и машинного обучения, расширение гипермасштабных центров обработки данных и модернизация транспортных сетей 5G, требующая оптических каналов большей пропускной способности.

Вопрос 7. Почему для рабочих нагрузок ИИ в 2026 году обязателен Ethernet 400G, и почему 100G больше не может удовлетворить потребности?

A: Каналы 100G не могут обеспечить синхронизацию градиентов по принципу «все ко всем», генерируемую крупномасштабными кластерами графических процессоров, что приводит к простою графических процессоров, затягиванию циклов обучения моделей и значительным потерям вычислительных ресурсов. С широким распространением высокопроизводительных графических процессоров, таких как H100 и B200, модели ИИ с большим количеством параметров генерируют непрерывный трафик с высокой пропускной способностью. Ethernet 400G обеспечивает достаточный запас пропускной способности для устранения узких мест в сети, максимального использования графических процессоров и стал базовой инфраструктурой для развертывания профессиональных систем ИИ в 2026 году.

В8. Может ли Ethernet 400G на базе RoCEv2 полностью заменить InfiniBand для обучения ИИ в производственных условиях?


A: Да. Подтверждено авторитетными исследованиями Dell'Oro Group и 650 Group: оптимизированный Ethernet RoCEv2 400G обеспечивает 85-95% пропускной способности InfiniBand, с незначительными отклонениями только в сценариях высокопроизводительных вычислений с экстремально низкой задержкой. Он отличается превосходной гибкостью экосистемы, отсутствием привязки к проприетарному оборудованию и поддержкой оптики, совместимой с продукцией разных производителей, при значительно более низкой общей стоимости. Он стал основным выбором для создания новых кластеров ИИ в 2026 году.

В9. Как мне убедиться, что моя существующая сеть 100G не является узким местом, ограничивающим производительность обучения ИИ?


A: Выявить узкие места в сети можно по шести основным показателям: более низкая загрузка графических процессоров во время обучения по сравнению с выводом; время выполнения градиентного свертывания, превышающее длительность прямого и обратного распространения; масштабирование задач обучения более чем на 8 графических процессоров; устойчивая загрузка сети 100G выше 70% во время обучения; снижение производительности при запуске моделей с более чем 70 миллиардами параметров; и более длительное фактическое время обучения по сравнению со стандартными показателями. Любой из этих признаков подтверждает наличие узкого места в сети 100G.

В10. Каковы основные принципы проектирования архитектуры 400G Ethernet в кластерах искусственного интеллекта?


A: Стандартная для отрасли архитектура — это двухуровневая архитектура «спина-лист» с портами 400G QSFP-DD. Ключевым критерием является поддержание соотношения переподписки между коммутаторами «лист» и «спина» 1:1 или близкого к нему, чтобы избежать перегрузки полосы пропускания. Оптические модули подбираются в соответствии с расстоянием развертывания: многомодовые модули 400G SR8 для коротких соединений на расстоянии до 100 м, одномодовые модули 400G DR4 для соединений средней дальности до 500 м и модули 400G FR4/LR4 для передачи на большие расстояния до 2 км/10 км.

В11. Почему совместимые модули сторонних производителей более экономически выгодны для развертывания сетей 400G, чем для сетей 100G?

A: Стоимость OEM-трансиверов 400G QSFP-DD составляет от 800 до 2000 долларов за единицу, при этом затраты на оптические компоненты превышают 500 000 долларов для крупных кластеров из 400 портов. В отличие от этого, ГИТОПТОДУСТРОЙСТВО Сертифицированная совместимость с 400G/ Трансиверы 800G Они обеспечивают производительность, идентичную OEM-классу, всего за 10-30% от цены OEM-производителя. Они устраняют проблемы совместимости с распространенными коммутаторами и значительно снижают общие затраты на развертывание кластеров ИИ.

Q12. Какие устройства поддерживают трансиверы HYTOPTODEVICE 400G/800G, и готовы ли они к серийному производству?


A: Все оптические модули HYTOPTODEVICE полностью соответствуют производственным стандартам и на 100% совместимы с основными коммутаторами, включая Cisco, Arista и Juniper. Тщательное тестирование на реальных устройствах гарантирует отсутствие предупреждений о неподдерживаемых трансиверах или сбоев в работе. Ключевые модели, популярные на рынке, совместимы с коммутаторами Arista. 800G QSFP-DD DR8 а также совместимый с Cisco модуль 200G QSFP56 SR4, отличающийся простотой развертывания по принципу «подключи и работай» и производительностью, эквивалентной OEM-производителям.

В13. Что является причиной стремительного роста рынка Ethernet 400G?

A: Согласно статистике Dataintelo, объем мирового рынка 400G Ethernet в 2025 году оценивался в 4,8 миллиарда долларов и, по прогнозам, достигнет 16,2 миллиарда долларов к 2034 году. Основными факторами роста являются расширение кластеров моделей ИИ в больших масштабах, модернизация гипермасштабных центров обработки данных и развитие транспортных сетей 5G. Растущий спрос на пропускную способность в связи с массовым развертыванием высокопроизводительных графических процессоров сделал 400G Ethernet обязательной инфраструктурой для вычислительных систем следующего поколения.

В14. Как выбрать подходящий оптический трансивер 400G для различных сценариев развертывания кластеров ИИ?


A: Для внутристоечных и межстоечных соединений на коротких расстояниях (≤100 м) выбирайте многомодовые модули 400G QSFP-DD SR8. Для внутрицентровых каналов связи на средних расстояниях (≤500 м) выбирайте одномодовые модули 400G DR4. Для передачи данных на большие расстояния между зданиями или между модулями (2 км/10 км) выбирайте модули 400G FR4/LR4. Все модели имеются в наличии на складе HYTOPTODEVICE и проходят полную предпродажную проверку качества.

В15. Необходима ли модернизация Ethernet до 400G для небольших команд, занимающихся ИИ и имеющих от 16 до 64 графических процессоров?


A: Да. Одноузловые конфигурации с 8 графическими процессорами используют NVLink для предотвращения сетевых узких мест, но масштабирование за пределы 8 графических процессоров требует полной межузловой сетевой связи. Каналы 100G значительно ограничивают эффективность синхронизации all-reduce для кластеров с 16 и более графическими процессорами, вызывая задержки в обучении и нерациональное использование ресурсов графических процессоров. Переход на 400G с экономически эффективными совместимыми модулями позволяет небольшим командам разработчиков ИИ повысить стабильность вычислений и эффективность итераций с минимальными инвестициями.

Переход от 100G к 400G: ключевые инфраструктурные и оптические проблемы, которых следует избегать.
Назад
Переход от 100G к 400G: ключевые инфраструктурные и оптические проблемы, которых следует избегать.
Читать далее
25G SFP28 против 100G QSFP28: как определить, для чего подходит каждый из них в вашей сетевой инфраструктуре 2026 года.
Далее
25G SFP28 против 100G QSFP28: как определить, для чего подходит каждый из них в вашей сетевой инфраструктуре 2026 года.
Читать далее