Conception de réseaux de clusters d'IA : Spine-Leaf, RoCE et NIC

La conception d'un réseau de cluster d'IA est le processus de dimensionnement des cartes réseau du serveur GPU, de la bande passante feuille-spine, du taux de surabonnement, des paramètres RoCE, de l'optique et du câblage afin que le trafic de formation distribué reste prévisible à mesure que le cluster évolue. Si vous vous trompez, le réseau - et non le GPU - devient le goulot d'étranglement.

Pourquoi la mise en réseau des clusters d'IA est différente

Dans un centre de données d'entreprise traditionnel, le réseau gère un mélange de trafic utilisateur nord-sud, d'accès au stockage, de virtualisation et de gestion. Le trafic est-ouest existe mais constitue rarement la charge dominante. Dans un cluster d’IA, la situation s’inverse. Les serveurs GPU exécutant une formation distribuée échangent des gradients et synchronisent les paramètres à chaque étape du travail. Cette communication fait partie du calcul et n’en est pas un effet secondaire.

Si un GPU à 30 000 $ passe 30 % de son temps à attendre sur le réseau pendant toutes les-opérations de réduction, le cluster paie effectivement 30 % de sa capacité de calcul pour rester inactif. C’est la raison économique pour laquelle les réseaux d’IA suscitent autant d’attention.

Trois caractéristiques de charge de travail déterminent la conception :

• Trafic intense vers l'est-ouest.Les opérations de communication collective telles que all-réduire, tous-rassembler et réduire-la diffusion produisent des rafales synchronisées sur de nombreux nœuds simultanément.
• Sensibilité à la latence de queue-.Un seul nœud lent retarde toute l’étape de formation. Une latence prévisible compte plus que la latence moyenne.
• Augmentez-la croissance.Les clusters qui commencent avec 32 GPU atteignent souvent 256 ou 1 024 en 18 mois. Le tissu doit évoluer sans refonte.

Pourquoi Spine-Leaf s'adapte aux clusters d'IA

Spine-leaf est la structure standard pour les centres de données hyperscale, car elle donne à chaque chemin de serveur-à-serveur le même nombre de sauts et la même bande passante théorique. Pour les charges de travail d’IA, cette uniformité se traduit directement par des temps d’étape de formation plus prévisibles.

Dans une topologie spine-feuille, les serveurs GPU se connectent aux commutateurs feuilles, et chaque feuille se connecte à chaque spine. Toute communication GPU-à-GPU traverse exactement une feuille, une colonne vertébrale et une feuille supplémentaire. Il n'y a pas de couches d'agrégation introduisant une latence variable ou des points d'étranglement.

Latence prévisible

Le routage ECMP (Equal-coût multi-chemin répartit les flux entre les commutateurs spine. Lorsqu'il est configuré correctement avec un routage adaptatif ou un équilibrage de charge dynamique, cela évite les collisions de hachage qui rendent certains flux beaucoup plus lents que d'autres - un problème connu dans les structures ECMP statiques transportant peu mais des flux importants, ce qui est exactement ce que génère la formation d'IA.

Bande passante élevée en bissection

La bande passante de bissection est le débit disponible entre deux moitiés égales du cluster. La formation de l'IA bénéficie de conceptions non-bloquantes ou quasiment-non-bloquantes dans lesquelles la capacité de liaison montante-de la feuille à la-colonne vertébrale est égale ou presque à la capacité de liaison descendante face aux serveurs. L'IETF définit et discute ces concepts dansRFC7938, qui couvre les structures Clos routées BGP-largement utilisées dans les-centres de données à grande échelle.

Une évolution plus facile-

Ajoutez plus de feuilles pour ajouter plus de serveurs. Ajoutez plus d'épines pour ajouter plus de bande passante de bissection. Pour les clusters au-delà de quelques milliers de GPU, une super-spine (5-stage Clos) ou une topologie optimisée par rail étend le même principe une couche plus loin.

Composants de base d'un réseau de cluster d'IA

Serveurs GPU et cartes réseau

La carte réseau est l'endroit où la structure rencontre l'hôte. Dans les clusters IA, la sélection de la carte réseau détermine tout en aval : - vitesse du port de commutation, choix des optiques et densité de câblage.

Critères de sélection pour les charges de travail d'IA :

• Vitesse portuaire :200G, 400G ou 800G par port. Correspond à la génération GPU et à la bande passante PCIe.
• Génération PCIe :Une carte réseau 400G a besoin de PCIe Gen5 x16 pour éviter la limitation côté hôte-. PCIe Gen4 x16 plafonne à ~ 256 Gbit/s utilisable.
• Prise en charge de RDMA et RoCEv2 :Requis pour le noyau-contourne les bibliothèques de communication GPU telles que NCCL.
• GPUDirect RDMA :Permet de diriger le GPU-vers le-NIC DMA, en supprimant les copies de la mémoire hôte.
• Capacité multi-rail :De nombreux serveurs d'IA utilisent 4 ou 8 cartes réseau par nœud, une par paire de GPU, pour les topologies optimisées pour le rail-.

Un serveur typique à 8 GPU utilise aujourd'hui soit 4 cartes réseau 400G (une pour deux GPU), soit 8 cartes réseau 400G (une par GPU), en fonction de la charge de travail et du budget. Architectures de référence deDocumentation réseau NVIDIAcouvrent les compromis de conception en détail.

Commutateurs à feuilles et à colonne vertébrale

Les critères de sélection des commutateurs pour les structures d’IA diffèrent de ceux de l’entreprise. La taille de la mémoire tampon, le comportement du contrôle de congestion et la télémétrie comptent plus que l’étendue des fonctionnalités.

• Vitesse et base par port :Un commutateur ASIC de 51,2 Tbit/s fournit 64 ports 800G ou 128 ports 400G. Radix détermine à quel point le tissu peut être plat.
• Architecture du tampon :Des tampons profonds absorbent les rafales incast mais ajoutent de la latence. Les tampons peu profonds réduisent la latence mais nécessitent un contrôle précis de la congestion.
• Ensemble de fonctionnalités RoCE :Marquage ECN, PFC, DCQCN ou contrôle de congestion équivalent, et gestion appropriée des files d'attente prioritaires de bout en bout-à-.
• Télémétrie :Télémétrie réseau intrabande (INT), rapports par-profondeur de file d'attente et compteurs de résolution en microsecondes-pour les marques ECN et les pauses PFC.

Câblage optique, DAC et AOC

A 400G et 800G, l'installation de câblage devient un véritable problème d'ingénierie. Les facteurs de forme, les budgets de liaison et les configurations de répartition nécessitent tous une planification précoce.

• DAC (cuivre à fixation directe) :Jusqu'à ~ 3 mètres pour 400G, coût le plus bas et consommation la plus faible. Lourd et encombrant à grande échelle.
• AOC (câble optique actif) :Jusqu'à environ 30 mètres, plus fin que le DAC, mais de longueur fixe-et consomme de l'énergie optique aux deux extrémités.
• Optique enfichable :Requis au-delà de la distance AOC. Les facteurs de forme QSFP-DD et OSFP dominent 400G/800G. Les assemblages de fibres MPO/MTP gèrent les connexions de fibres parallèles-.

Pour les liaisons entre-racks et le câblage structuré à 400 G/800 G, les optiques parallèles sur les terminaisons MPO sont désormais la norme. Le choix entre les câbles principaux et les assemblages de dérivation dépend de l'allocation des ports de votre commutateur - consultez notreGuide-câble épanoui MPOpour la logique de sélection pratique et la plus largeComparaison entre le tronc MPO et les petits groupeslors de la planification des courses feuille-à-colonne vertébrale.

RoCE et Ethernet sans perte dans les structures IA

RoCEv2 (RDMA over Converged Ethernet v2) est le transport Ethernet dominant pour les charges de travail d'IA. Il permet aux cartes réseau de déplacer les données directement entre les régions de mémoire GPU sans implication du noyau à chaque extrémité. NCCL, la bibliothèque de communication GPU sous-jacente à presque tous les frameworks de formation distribués, utilise RoCEv2 lorsqu'InfiniBand n'est pas disponible.

RoCE fonctionne bien lorsqu'il est configuré correctement. Il échoue moche lorsqu’il est mal configuré. LeAssociation commerciale InfiniBandpublie les spécifications RoCE, et la plupart des fournisseurs de cartes réseau et de commutateurs publient des guides de configuration détaillés qui doivent être suivis de bout en bout-à-.

Pourquoi le comportement sans perte est important

RDMA a été conçu en supposant un transport sans perte. Lorsque les paquets sont abandonnés, la récupération RDMA est coûteuse -retour-retour-La retransmission N peut bloquer une étape de formation pendant quelques millisecondes, ce qui est énorme par rapport au budget RDMA à l'échelle de la microseconde-.

Pour se rapprocher du comportement sans perte sur Ethernet, la structure utilise deux mécanismes fonctionnant ensemble :

• PFC (Contrôle de flux prioritaire, IEEE 802.1Qbb) :Un commutateur suspend le trafic entrant sur une file d'attente prioritaire spécifique lorsque sa mémoire tampon se remplit. Il s'agit d'un mécanisme de dernier-recours.
• ECN (notification explicite de congestion, RFC 3168) :Les commutateurs marquent les paquets lorsque les files d’attente approchent d’un seuil. La carte réseau réduit son taux d'envoi avant que les tampons ne se remplissent réellement, évitant idéalement complètement le PFC.

L’objectif est qu’ECN se charge de la quasi-totalité de la gestion de la congestion, avec PFC comme filet de sécurité. Si vous constatez des pauses PFC fréquentes dans un trafic-en régime permanent, vos seuils ECN sont erronés ou votre structure est sous-dimensionnée.

Échecs courants du déploiement de RoCE

Comment concevoir un réseau de clusters d'IA : un cadre de travail

Il s’agit de la section ignorée par la plupart des articles sur les « réseaux IA ». Les sept étapes ci-dessous vous donnent des entrées et des sorties concrètes à chaque étape.

Étape 1 : Définir la charge de travail et l'échelle

Entrées :Type de charge de travail (préentraînement,-réglage précis, inférence, mixte), nombre de GPU cibles aujourd'hui, nombre de GPU cibles dans 18 mois, plage de tailles de modèle.

Sortir:Un profil de charge de travail qui indique la vitesse de la carte réseau et la tolérance de surabonnement. Un pré-entraînement important des modèles frontières nécessite des tissus 400G+ non-bloquants. Les charges de travail de réglage précis- peuvent tolérer un surabonnement de 2 : 1. Les clusters d'inférence nécessitent souvent une bande passante inférieure mais une latence de queue plus faible.

Étape 2 : Choisissez la vitesse et le nombre de cartes réseau par serveur

Logique de décision :

• Pré-entraînement des grands modèles, serveurs 8 GPU → 4 à 8 × NIC 400G par serveur, ou 4 × 800G
• Formation à moyenne-échelle, serveurs à 8 GPU → 2 à 4 cartes réseau 400 G par serveur
• Service d'inférence → 1 à 2 × cartes réseau 200G ou 400G par serveur, selon le parallélisme du modèle

Vérifiez la bande passante PCIe sur l'hôte. Un seul port 400G nécessite PCIe Gen5 x16 pour fonctionner au débit de ligne ; le doublement à 800G nécessite Gen6 ou la répartition sur deux emplacements.

Étape 3 : Dimensionner le calque de feuilles

Exemple concret de - 32-cluster de nœuds, 8 GPU par nœud, 4 cartes réseau 400 G par nœud :

• Nombre total de ports côté serveur-nécessaires : 32 × 4=128 ports à 400 G
• Bande passante de liaison descendante par nœud : 4 × 400=1.6 Tbit/s
• Bande passante totale de liaison descendante du cluster : 32 × 1.6=51.2 Tbit/s

À l'aide d'un commutateur feuille 400G à 64 ports (capacité totale de 25,6 Tbit/s), chaque feuille peut connecter 32 ports de serveur et utiliser les 32 ports restants comme liaisons montantes. Avec 4 feuilles, vous couvrez les 128 ports du serveur. Chaque feuille contribue à hauteur de 32 × 400 G = 12.8 Tb/s de liaison montante vers la colonne vertébrale.

Étape 4 : Dimensionner le calque de la colonne vertébrale

Pour une conception non-bloquante (1:1), la capacité totale de liaison montante doit être égale à la capacité totale de liaison descendante. À partir de l'étape 3 :

• Liaison montante totale requise : 4 feuilles × 12,8 Tbit/s=51.2 Tbit/s
• Si chaque colonne dispose de 32 × ports 400G=12.8 Tb/s, vous avez besoin de 4 colonnes.
• Chaque feuille se connecte aux 4 épines à l'aide de 8 liaisons montantes par colonne (8 × 400 G × 4=12.8 Tb/s par feuille - correspondances)

Si vous utilisez des commutateurs spine 400G à 64 ports, chaque spine dispose d'une capacité disponible pour développer le cluster, utile pour le plan de 18 mois de l'étape 1.

Étape 5 : Définir le taux de surabonnement

Étape 6 : Séparer le trafic de calcul, de stockage et de gestion

Trois options, par ordre d'isolement croissant :

• Structure partagée avec classes QoS :Calcul, stockage et gestion sur des priorités DSCP distinctes. Coût le plus bas ; nécessite une configuration minutieuse de la QoS.
• VLAN/VRF logiquement séparés :Même matériel, plans de contrôle séparés. Utile pour les clusters multi-clients.
• Tissus physiquement séparés :Cartes réseau, commutateurs et câblage dédiés pour le calcul et le stockage. Coût le plus élevé ; courant dans les clusters de modèles frontières-où tout conflit est inacceptable.

Le trafic de stockage pour l'IA est lui-même important - les écritures de point de contrôle pour un grand modèle peuvent déplacer des centaines de gigaoctets en courtes rafales. Planifiez-le explicitement. Une installation de câblage structuré à haute-densité utilisantCâbles principaux MPO/MTPsimplifie l’exécution de structures parallèles dans la même infrastructure physique.

Étape 7 : Valider avant la production

Les tests au niveau du réseau- détectent certains problèmes. Les tests au niveau de la charge de travail- capturent le reste.

• Bande passante :iperf3 ou ib_send_bw entre chaque paire de nœuds ; devrait atteindre plus de 90 % du débit de la ligne NIC.
• Latence:ib_read_lat ou similaire ; vérifiez la distribution, pas seulement la moyenne. P99.9 compte plus que la moyenne.
• Perte de paquets :Exécutez un test de trempage de 24 {{1}heures sous charge ; toute perte non nulle dans la classe de trafic RoCE est un problème.
• Comportement du marquage ECN :Vérifiez que les marques apparaissent avant le déclenchement du PFC ; si les pauses du PFC sont fréquentes en régime permanent, réajustez.
• Communication collective :Exécutez les tests NCCL (all_reduce_perf, all_gather_perf) à la taille totale du cluster. Comparez avec les numéros de référence des fournisseurs.
• Test au niveau du poste :Exécutez une tâche de formation représentative pendant 4 à 6 heures. Regarder l'utilisation du GPU - valeurs soutenues inférieures à 50 % sur un modèle correctement-indique généralement un problème de réseau.

Réseau de centre de données traditionnel vs AI Spine-Leaf Fabric

Ethernet RoCE vs InfiniBand : guide de décision rapide

La question revient dans presque tous les projets de cluster IA. Les deux fonctionnent. Le choix se résume généralement à l’adéquation opérationnelle et non à la performance pure.

• Choisissez InfiniBand si :Votre équipe exploite déjà des structures InfiniBand, vous recherchez le chemin le plus simple vers un transport sans perte ou vous achetez une architecture de référence de fournisseur entièrement intégrée.
• Choisissez Ethernet RoCE si :Votre équipe opérationnelle est native d'Ethernet-, vous souhaitez des options de commutateur multi-fournisseurs, vous devez intégrer la structure d'IA aux réseaux de centres de données existants ou vous prévoyez d'évoluer au-delà de ce que les topologies InfiniBand actuelles prennent en charge proprement.

L'Ultra Ethernet Consortium, formé en 2023, travaille activement à la normalisation des améliorations Ethernet spécifiquement pour les charges de travail d'IA. Pour la plupart des nouveaux clusters en 2026, Ethernet RoCE constitue une valeur par défaut défendable, à moins qu'il n'y ait une raison spécifique d'en choisir autrement.

Erreurs courantes à éviter

Mise à niveau des commutateurs sans vérifier les cartes réseau

Une structure de commutation 800G ne fait rien pour vous si vos cartes réseau fonctionnent à 400G ou si votre PCIe hôte manque de bande passante. Concevez d'abord le côté hôte, puis le côté commutateur. PCIe Gen5 x16 limite un seul port à environ 504 Gbit/s de débit réel -débit - confortable pour 400 G, marginal pour 800 G.

Optimiser la vitesse du port mais ignorer la densité du câblage

Sur les feuilles 400G à 64-ports, le câblage sous chaque commutateur peut devenir physiquement ingérable sans planification. Utilisez des câbles de dérivation le cas échéant, acheminez les fibres via des chemins structurés et standardisez les types de connecteurs. La qualité des connecteurs et la terminaison sont importantes à haute vitesse - notreguide des types de connecteurs de fibre optiquecouvre les compromis entre LC, MPO et les nouveaux facteurs de forme haute densité-.

Traiter le RoCE comme du Plug-and-Play

La plus grosse erreur de conception dans les vrais clusters d'IA est de ne pas choisir le mauvais commutateur -, mais de sous-estimer la quantité de travail de configuration RoCE-de bout en bout-nécessaire. Prévoyez du temps pour régler les seuils ECN, les priorités PFC et la cohérence MTU. Planifiez une phase de validation dédiée avant l’exécution de toute charge de travail de production.

Mélanger tout le trafic sur un seul tissu sans QoS

La réplication du stockage, les agents de surveillance et le trafic de gestion peuvent perturber les temps d'étape de formation s'ils partagent des tampons avec le trafic de calcul. Séparez-les physiquement ou appliquez des classes QoS strictes avec des priorités et une configuration ECN distinctes.

Construire uniquement pour le cluster d'aujourd'hui

La plupart des clusters d'IA croissent de 4 à 8 fois dans les deux ans suivant le déploiement initial. Choisissez une capacité de base et de colonne de commutation qui permet une expansion sans -perturbation. Tirer des câbles dans un centre de données IA en direct coûte cher ; la planification des conduits et de la capacité de correctifs au moment du déploiement est peu coûteuse.

Quand passer de 400G à 800G

Des cartes réseau et des commutateurs 800G sont disponibles mais plus chers par port. Pensez à intervenir lorsque :

• Les besoins en bande passante par-GPU dépassent ce que 400G peut fournir - par exemple, les GPU H100 et plus récents avec NVLink 5 s'attendent à une bande passante externe plus élevée.
• NCCL-réduit tous les temps en fonction de la taille du cluster, ce qui indique une saturation du réseau.
• La densité de câble à 400G devient physiquement ingérable - moins de ports 800G peuvent remplacer davantage de ports 400G
• La prochaine génération de GPU de votre feuille de route devrait en avoir besoin dans la fenêtre d'amortissement du cluster.
• Vous créez un cluster de formation modèle-avant-gardiste dans lequel tout temps d'inactivité de calcul coûte beaucoup plus cher que la mise à niveau de l'optique.

Pour la plupart des clusters de production en 2026, 400G reste le bon équilibre entre coût, maturité de l'écosystème et capacité.. 800G est logique dans le haut de gamme et comme investissement à long terme pour les clusters en cours de construction aujourd'hui et qui devraient fonctionner pendant 4 à 5 ans.

Conclusion

Le réseau de clusters d’IA le plus puissant n’est pas celui doté des commutateurs les plus rapides. C'est celui où le choix de la carte réseau, le dimensionnement feuille/spine, le surabonnement, la configuration RoCE, la séparation du trafic et le câblage physique se soutiennent mutuellement et prennent en charge la charge de travail pour laquelle ils ont été choisis.

Commencez par la charge de travail et le plan de croissance sur 18 -mois. Calculez les besoins en bande passante de chaque couche à l’aide de chiffres réels, et pas seulement de règles empiriques. Configurez RoCE de bout en bout-à-et validez-le avec de véritables benchmarks de communication collective. Budget pour l'usine de câblage - à 400G et 800G, la couche physique n'est plus anodine.

Le cluster qui maintient ses GPU occupés à plus de 95 % d'utilisation à chaque étape de formation est celui qui a prêté attention à toutes ces couches. Le cluster livré avec un commutateur plus rapide et une structure plus lente passera des années à expliquer pourquoi les GPU sont inactifs.

Lectures complémentaires

• RFC 7938 - BGP dans les-centres de données à grande échelle
• InfiniBand Trade Association - Spécifications RoCE
• Documentation réseau NVIDIA
• Guide d'installation du câble à fibre optique
• Perte d'insertion et perte de retour expliquées