L’intelligence artificielle remodèle la conception des centres de données. La majeure partie de l'attention est portée aux GPU, aux accélérateurs et au refroidissement, mais la couche qui décide tranquillement si le reste de la construction réussit est le câblage. Dans un cluster d'IA, la couche physique détermine si vous pouvez réellement atteindre 400 G et 800 G, si les liaisons à haut débit restent suffisamment propres pour laisser passer le trafic, si le flux d'air survit à un rack entièrement rempli et si votre prochain saut de vitesse est un échange de carte ou une mise à niveau brutale.
Ce guide est destiné aux équipes chargées de l'infrastructure et des réseaux-optiques. Il explique ce qui différencie le câblage IA, les exigences qui comptent avec des chiffres réels, comment comparer DAC, AOC et fibre structurée, un workflow de planification-par-étape, ce qu'il faut préparer avant une migration 400G ou 800G et une liste de contrôle que vous pouvez réellement utiliser. Les références techniques ici sont basées sur les normes IEEE 802.3 et ANSI/TIA-942 actuelles.
Pourquoi les charges de travail d'IA modifient les exigences de câblage des centres de données
Les centres de données d'entreprise traditionnels étaient construits autour d'un trafic d'applications assez prévisible, en grande partie nord-sud, circulant entre les utilisateurs, les applications et les réseaux externes. Les clusters d’IA inversent ce modèle. Lors de l'entraînement et de l'inférence à grande échelle, le flux dominant est est-ouest : les GPU échangent constamment des gradients et des activations entre eux via des opérations collectives telles que all-reduce, généralement via une structure d'accès direct à la mémoire à distance (RDMA).
Ceci est visible dans les conceptions de référence des fournisseurs. NVIDIA construit le réseau de calcul GPU sous la forme d'une structure de colonne vertébrale-feuille-basée sur RDMA à l'aide d'unrail-topologie optimisée pour que tout GPU soit à un saut maximum de tout autre, ce qui permet de maintenir une communication multi-GPU efficace à grande échelle. La conséquence du câblage est le nombre de ports : un seul nœud de huit-GPU peut présenter huit ports est-ouest de 400 G (ou 800 G) et un module de formation avec plusieurs commutateurs feuilles par rack multiplie la fibre principale et les correctifs très rapidement.
Lorsque la couche physique est sous-planifiée, les problèmes n'apparaissent pas dès le premier jour. Ils apparaissent plus tard, sous la forme de voies encombrées qui étouffent le flux d'air, sous forme d'isolation des pannes qui prend des heures au lieu de quelques minutes, et sous forme de retouches au cours du premier cycle de mise à niveau. Un détail qui semble insignifiant, comme une polarité MPO inversée ou une extrémité contaminée, peut mettre un rail entier hors ligne. Pour l’infrastructure d’IA, le câblage fait partie de l’architecture dès le départ et ne constitue pas la dernière tâche avant la mise en service.
Câblage de centre de données traditionnel ou compatible avec l'IA-
L'écart entre le câblage traditionnel et-prêt pour l'IA est dû à un changement dans les priorités de conception, et pas seulement à un plus grand nombre de câbles. Les conceptions traditionnelles optimisent la connectivité d'aujourd'hui ; Les conceptions prêtes pour l'IA-optimisent la vitesse de migration, la densité, la qualité de liaison prévisible et la facilité d'entretien sur plusieurs cycles de mise à niveau.
| Facteur de conception | Câblage traditionnel du centre de données | Câblage de centre de données prêt pour l'IA- |
|---|---|---|
| Modèle de trafic | Prévisible, souvent nord-fort | Trafic GPU important d'est-ouest-à-GPU sur les structures RDMA |
| Planification de vitesse | Dimensionné pour les vitesses actuelles du réseau | Prévu pour 400G et 800G, avec une trajectoire vers 1,6T |
| Densité | Densité de ports et de fibres modérée | Fibre parallèle haute-densité, MTP/MPO base-8 et base-16 |
| Gestion des câbles | Considéré principalement comme une organisation | Traité dans le cadre du flux d'air, de la disponibilité et de la maintenance |
| Chemin de mise à niveau | Il faut souvent-tirer à nouveau le câble | Modulaire : échangez les optiques et les cassettes, conservez l'usine de fibre |
| Entretien | Traçage manuel, plus lent | Testé, labellisé, documenté, avec des parcours définis |
L’objectif est de créer une usine de fibre capable d’absorber au moins un saut de vitesse et une expansion de capacité sans refonte.
Principales exigences de câblage pour les centres de données IA
Planifiez la couche physique pour 400G et 800G, pas seulement pour la vitesse actuelle
Les clusters d'IA gravissent rapidement l'échelle de vitesse, de 100G à 400G, 800G et éventuellement 1,6T. Les interfaces 400G et 800G sont désormais formellement standardisées :IEEE 802.3df, approuvé en 2024, définit le MAC, la couche physique et les paramètres de gestion pour Ethernet 400 Gb/s et 800 Gb/s., y compris les types de supports physiques tels que 800GBASE-SR8 et 800GBASE-DR8. Du côté de l'équipement, le 400G se présente généralement sous les formats QSFP-DD ou QSFP112, tandis que le 800G utilise OSFP ou QSFP-DD800. Si vous comparez l'emballage de l'émetteur-récepteur et la cartographie des voies, celaPrésentation technique de QSFP-DDest un point de départ utile.
La règle pratique : dimensionner le type de fibre, le nombre de fibres et la base du connecteur pour que la plante survive au prochain saut. Un tronc dimensionné uniquement pour la vitesse du port d'aujourd'hui devient le goulot d'étranglement dès que le silicium et l'optique du commutateur avancent.
Utilisez la-fibre MTP/MPO haute densité pour la connectivité du cluster GPU-
Les liaisons IA à haut-débit sont des optiques parallèles, et les optiques parallèles sont directement mappées sur le nombre de fibres. Une liaison 400G-DR4 utilise quatre voies, ou huit fibres, généralement terminées par une virole MPO-12. Une liaison 800G-SR8 ou 800G-DR8 utilise huit voies, ou seize fibres, souvent un MPO-16 avec des extrémités APC. Les liaisons MTP/MPO base-8 et base-16 associées à des cassettes consolident des centaines de ces liaisons par rack et transforment le déploiement en mouvements reproductibles et testés en usine plutôt qu'en épissage sur le terrain. Pré-terminéCâbles principaux MTP/MPOet les assemblages de dérivation (MPO vers LC ou MPO vers MPO) constituent l'épine dorsale de cette approche.
La densité doit encore être planifiée et non maximisée. Emballer la fibre dans un rack sans penser au remplissage des voies et au flux d'air crée une contre-pression sur l'échappement de l'équipement et rend les ports impossibles à entretenir. Définissez les taux de remplissage et les règles de gestion du slack-avant, et non après, la première installation.
Gérer la perte d'insertion, la propreté des connecteurs et la polarité
Les optiques d'IA à haut-vitesse sont moins indulgentes que les liens qui les ont précédés. La signalisation PAM4 utilisée à 400G et 800G fonctionne avec des budgets de perte de canal plus serrés que les anciennes liaisons NRZ, et chaque paire MPO ou LC couplée ajoute une perte d'insertion, souvent de quelques dixièmes de décibels par connexion. Sur un canal structuré avec plusieurs points de connexion et une longueur de fibre, ce budget disparaît rapidement, le nombre de connecteurs est donc une variable de conception et non une réflexion après coup. La distinction entre perte d'insertion et perte de retour, et pourquoi les deux sont importantes sur l'optique parallèle, mérite d'être comprise avant de finaliser un canal ; cet explicatif surperte d'insertion dans les réseaux de fibrecouvre la mécanique.
La contamination est l'une des principales causes de défaillance des liaisons sur site, c'est pourquoi chaque face d'extrémité doit être inspectée et nettoyée avant l'accouplement. La polarité nécessite un schéma explicite (méthode A, B ou C) et les liaisons parallèles monomodes -utilisent généralement des connecteurs APC coudés pour contrôler la perte de retour. Le rayon de courbure est important dans les panneaux denses, où les fibres insensibles à la courbure-achètent de la marge. La fiabilité est ici une discipline d’installation et de maintenance autant qu’un choix de composants.
Concevoir une architecture de câblage structurée-modulaire et évolutive
L'infrastructure de l'IA évolue selon un cycle court, de sorte qu'une usine difficile à modifier ralentit tout déploiement futur. Le câblage structuré, constitué de lignes principales, de cassettes, de boîtiers et de chemins définis, permet aux équipes d'ajouter de la capacité ou de-rebrancher une structure sans-tirer à nouveau le câble.ANSI/TIA-942 spécifie les exigences minimales en matière d'infrastructure de télécommunications pour les centres de donnéeset une topologie de câblage destinée à s'adapter aux applications futures, ce qui correspond exactement à la posture dont une version d'IA a besoin. Avec cette base, la plupart des améliorations de vitesse consistent à échanger des optiques et des cassettes plutôt qu'à reconstruire la couche physique.
Acheminer les câbles pour la circulation de l'air et le refroidissement dans des racks-haute densité
Les racks AI chauffent. La densité de puissance dans les racks GPU les plus denses peut dépasser 100 kW, et à ces niveaux, un câblage encombré provoque directement une recirculation et des points chauds localisés.Les directives ASHRAE TC 9.9 encadrent le contrôle thermique autour de l'entrée de l'équipement informatique et une séparation propre entre les allées chaudes et froides., et le câblage le prend en charge ou s'y oppose. En pratique, cela signifie des chemins de fibre aériens lorsque cela est possible, une séparation claire de l'alimentation et des données, des gestionnaires verticaux et horizontaux dimensionnés pour le nombre réel de câbles, un jeu discipliné et un acheminement qui ne bloque jamais l'échappement arrière ou une armoire de cheminée. La gestion des câbles qui assure la traçabilité des liens réduit également les erreurs humaines lors des déplacements et des changements.
DAC, AOC ou fibre structurée ? Une matrice de sélection de câblage de centre de données IA
Il n’existe pas de meilleur support pour un cluster d’IA ; le bon choix dépend de la portée et du rôle. À l'intérieur d'un rack, le cuivre à courte portée- gagne toujours en termes de coût, de puissance et de latence. À mesure que les liaisons s'étendent sur des rangées et des halls, la fibre monomode- devient l'épine dorsale évolutive. La matrice ci-dessous compare les options courantes de la manière dont une revue de conception les évalue réellement.
| Option | Portée typique | Vitesse typique | Où ça correspond | Média et connecteur | Coût et puissance | Cas d'utilisation-le plus adapté |
|---|---|---|---|---|---|---|
| DAC passif | Jusqu'à environ 3 m | Jusqu'à 400 G (par exemple 400 G-CR8) | Intra-rack et-haut du rack adjacent-du-rack | Cuivre Twinax, extrémités intégrées | Coût le plus bas, puissance la plus faible, latence la plus faible | GPU ou serveur à feuilleter dans le même rack ou le prochain rack |
| AOC | De quelques mètres à environ 30 m, plus dans certains cas | 400G et 800G | Dans une rangée, sur les étagères à proximité | Noyau multimode, extrémités émetteur-récepteur fixes | Faible consommation, pas de nettoyage des extrémités sur le terrain | Serveur permanent-vers-liens feuilles hors de portée du DAC |
| Fibre structurée multimode (OM4/OM5) | Des dizaines de mètres, jusqu'à environ 100 m, plus court à 800G | 400G et 800G SR/VR | Dos de feuille-dans une salle | OM4/OM5 avec MTP/MPO et LC | Réutilisable et utilisable | Liens feuille courte-à-dos et rangée-à-ligne |
| Fibre structurée monomode-(OS2) | 500 m à 2 km (DR/FR), jusqu'à 10 km (LR) | 400G et 800G DR/FR/LR | Colonne vertébrale, traverse-pièce, traverse-bâtiment | OS2 avec MTP/MPO (APC) et LC/APC | Portée et évolutivité maximales | Liaisons montantes Spine, cross-hall et structures GPU plus grandes |
C'est également la raison pour laquelle une déclaration générale telle que "la fibre est toujours préférée" doit être mise en garde : la fibre est la base évolutive de la structure, mais un DAC passif reste le meilleur choix technique pour un saut d'un -mètre à l'intérieur d'un rack.
Comment planifier le câblage du centre de données IA, étape par étape
Étape 1 : Cartographier la charge de travail de l'IA et la topologie du réseau
Commencez par la charge de travail. Un grand module de formation, une flotte d'inférence-à haut débit, un cluster HPC et un déploiement-lourd en stockage ne partagent pas le même profil de trafic. Cartographiez ensuite l'endroit où les réseaux de calcul GPU (est-ouest), de stockage, nord-sud et-hors bande-se connectent. Un déploiement d'inférence pure n'a peut-être pas besoin du tout d'une grande structure est-ouest, alors qu'un module de formation multi-rack le fera. Concevez en fonction du flux de trafic réel, et pas seulement de l'élévation du rack.
Étape 2 : Verrouiller les objectifs de vitesse actuels et futurs
Définissez à la fois la première phase et la suivante. Si un pod fonctionne à 400G aujourd'hui et à 800G l'année prochaine, l'usine de fibre doit être dimensionnée pour 800G maintenant. Au-delà de cet horizon, les travaux sur l'Ethernet de classe térabit- sont déjà en cours : leLe groupe de travail IEEE P802.3dj définit le fonctionnement 200G, 400G, 800G et 1,6 Tbit/s en utilisant une signalisation de 200 Gbit/s-par-voie.. Savoir où va la feuille de route vous indique la quantité de fibres et la capacité des voies à réserver.
Étape 3 : Sélectionnez les médias et les connecteurs avec marge
La question OS2-contre-OM4 est principalement une question de portée. OM4 convient aux liaisons feuille-épine inférieures à -100 m, mais la portée diminue à mesure que la vitesse augmente. Ainsi, une fois que les liaisons traversent des rangées ou des halls, ou une fois que vous souhaitez une marge de 800 G DR/FR, l'OS2 monomode est la base la plus sûre. Réviser lelimites de distance de la fibre multimode OM1 à OM5rend le compromis-concret. Faites correspondre la base MPO (12 contre 16) au plan de fibre optique et planifiez la polarité à l'avance ; pour les panneaux haute-densité, ceciGuide de sélection MTP vs MPOcouvre les différences qui comptent. Lorsqu'un émetteur-récepteur et la vitesse du port ne correspondent pas, planifiez les ruptures (MPO à LC) plutôt que d'improviser au moment de l'installation.
Étape 4 : Planifier ensemble la densité du rack, les chemins et le flux d'air
La disposition des racks, le routage des câbles et le refroidissement ne sont qu'une décision dans un environnement d'IA à haute densité-, et non trois. Avant l'installation, comptez le nombre de câbles entrant et sortant de chaque rack, décidez de l'emplacement des panneaux de brassage, planifiez le jeu et confirmez qu'un technicien peut atteindre et remplacer un port sans perturber les liaisons actives. Laissez une marge de croissance dans les plateaux et remplissez les ratios. Un rack qui semble propre lors de la mise en service devient inutilisable après deux cycles de mise à niveau si les chemins ont été maximisés dès le premier jour.
Étape 5 : tester, documenter et maintenir selon les spécifications
Testez chaque lien selon les spécifications du projet, ce qui pour la fibre à haut débit-implique des tests de perte d'insertion-, un OTDR le cas échéant, une vérification de la polarité et une inspection des extrémités. Documentez chaque port, ligne réseau, cassette et chemin, y compris le schéma de polarité, la longueur et la perte mesurée, avec des étiquettes qui correspondent aux dessins-tels que construits. La maintenance devient alors une routine : nettoyage des extrémités, audits périodiques, contrôle des étiquettes et des modifications. Suivi du sonpratique d'installation de câbles à fibres optiquesLa tension de traction et le rayon de courbure protègent le budget de perte que vous avez testé.
Que préparer avant une migration 400G ou 800G
Les migrations échouent plus souvent sur la couche physique que sur la couche optique. Avant de procéder à la transition, procédez comme suit :
- Confirmez le type et le nombre de fibres, et vérifiez que l'OM4 existant atteint toujours la vitesse cible, car la distance prise en charge diminue à mesure que le débit de ligne augmente.
- Vérifiez que la base du connecteur correspond à la nouvelle optique (MPO-12 versus MPO-16) et que le schéma de polarité est toujours valable bout à bout.
- Recalculez le budget de perte de liaison pour PAM4, puis réduisez le nombre de connexions là où vous le pouvez et réinspectez chaque extrémité.
- Confirmez la capacité du chemin et du plateau pour le câblage ajouté, ainsi que la marge thermique du rack pour les optiques de puissance-plus élevée.
- Préparez les cassettes, les lignes réseau, les étiquettes et un plan de test à l'avance afin que le basculement soit un échange-et non une réextraction-.
Erreurs courantes à éviter
Dimensionnement uniquement pour la bande passante actuelle.Une usine construite pour les cadences actuelles date vite. Construisez un chemin réaliste vers une vitesse plus élevée et une densité de ports plus élevée.
Traiter la gestion des câbles comme un cosmétique.Un câblage soigné est utile, mais la gestion concerne en réalité le flux d'air, l'accès et l'isolation des défauts, et non l'apparence.
Sacrifier l’accès à la maintenance au profit de la densité.La haute-densité n'est pas "aussi compacte que possible". Si un technicien ne peut pas tracer et remplacer une connexion en toute sécurité, la conception vous coûtera cher en opérations réelles.
Acheter des composants de manière isolée.Les câbles, connecteurs, panneaux, émetteurs-récepteurs, racks et chemins forment un seul canal. Une pièce qui semble bon marché en elle-même peut recouvrir l’ensemble du tissu lorsqu’elle se met à l’échelle.
Liste de contrôle de préparation au câblage AI-Ready
Parcourez-les avant de mettre à l’échelle les GPU. Chaque élément a une condition de réussite concrète, et non un vague oui ou non.
- Marge de vitesse :La fibre installée peut-elle prendre en charge au moins un saut de vitesse (par exemple de 400 G à 800 G) sans tirer à nouveau, et le nombre de fibres est-il adapté à la carte des voies optiques (huit ou seize fibres) ?
- Bilan des sinistres :Chaque canal-haut débit est-il à l'intérieur de sa tolérance de perte d'insertion-PAM4, avec le nombre de connexions et l'inspection des extrémités vérifiées ?
- Densité versus service :Un technicien peut-il atteindre, tracer et remplacer n’importe quel port sans perturber un rail sous tension ?
- Flux d'air :Les passages permettent-ils de garder les gaz d'échappement arrière et le confinement des allées dégagés, et l'alimentation et les données sont-elles séparées ?
- Documentation:Chaque lien est-il testé et enregistré avec son schéma de polarité, sa longueur et sa perte, et étiqueté pour correspondre aux-dessins construits ?
- Échelle:La topologie optimisée-de la colonne vertébrale et du rail-s'étend-elle jusqu'au pod suivant sans refonte ?
- Ajustement des médias :Le support de chaque liaison est-il choisi en fonction de la portée, de la vitesse, de l'impact thermique et de la facilité d'entretien, avec DAC en-rack et OS2 dans les halls ?
Si plusieurs réponses sont non, repensez la couche physique avant l’évolution des charges de travail d’IA, et non après la première expansion.
FAQ
Q : De quel câblage les réseaux IA 400G et 800G ont-ils besoin ?
R : Ils fonctionnent sur des optiques parallèles sur fibre MTP/MPO. Une liaison 400G-DR4 utilise huit fibres, généralement un MPO-12, tandis que 800G-SR8 ou 800G-DR8 utilise seize fibres, souvent un MPO-16 avec APC. OM4 ou OM5 couvrent une portée courte, OS2 couvre une portée plus longue et le DAC passif gère les sauts en rack les plus courts. Les interfaces elles-mêmes sont définies dans IEEE 802.3df.
Q : La fibre monomode-ou multimode est-elle préférable pour les centres de données IA ?
R : Cela dépend de la distance. L'OM4 ou l'OM5 multimodes sont-rentables pour les liaisons feuille-épine dorsale de moins de 100 m environ, mais la distance prise en charge diminue à 800 G. L'OS2 monomode-est la meilleure base une fois que les liaisons traversent des rangées ou des halls, ou lorsque vous souhaitez une portée DR/FR de 800 G et une marge future de 1,6 T. De nombreuses grandes structures se normalisent sur OS2 pour cette raison.
Q : Quand un centre de données IA doit-il utiliser des émetteurs-récepteurs DAC, AOC ou optiques ?
R : Utilisez un DAC passif pour des liaisons allant jusqu'à environ trois mètres à l'intérieur ou entre des racks adjacents, là où il offre le coût, la puissance et la latence les plus bas. Utilisez AOC pour des liaisons permanentes de quelques mètres à une dizaine de mètres. Utilisez des émetteurs-récepteurs enfichables avec fibre structurée lorsque vous avez besoin de portée, de réutilisation et de capacité à entretenir la liaison.
Q : Comment calculez-vous un budget de perte de câblage pour les liaisons-haut débit ?
R : Commencez par la tolérance de perte d'insertion de canal-spécifiée par la norme de l'émetteur-récepteur (par exemple 800GBASE-SR8 ou 800GBASE-DR8). Soustrayez l'atténuation de la fibre multipliée par la longueur, plus la perte de chaque paire de connecteurs accouplés, qui est souvent de quelques dixièmes de décibel, plus les éventuelles épissures, et gardez la marge en réserve. Les budgets PAM4 sont plus serrés que les anciennes liaisons NRZ, donc le nombre de connexions et la propreté des extrémités déterminent directement si un canal passe.
Q : Comment le câblage affecte-t-il le refroidissement dans les racks IA haute-densité ?
R : Les faisceaux de câbles encombrés obstruent la circulation de l'air, créent une contre-pression-sur l'échappement des équipements et provoquent une recirculation et des points chauds, ce qui est important pour les densités de rack GPU pouvant dépasser 100 kW. Des voies aériennes, une alimentation et des données séparées, des gestionnaires correctement dimensionnés et un routage qui maintient les gaz d'échappement et le confinement dégagés protègent tous la conception du refroidissement.
Q : Le cuivre est-il toujours adapté aux centres de données IA ?
R : Oui, pour les connexions courtes en-rack et-rack adjacent, où le DAC est le choix efficace. Les réseaux à haute densité-et les trajets plus longs passent à la fibre pour plus de bande passante, de portée et d'évolutivité.
Q : Pourquoi les connecteurs MTP/MPO sont-ils courants dans le câblage AI ?
R : Ils transportent huit à vingt-fibres dans une seule virole, ce qui est exactement ce dont les optiques parallèles ont besoin, et ils permettent-des lignes réseau préterminées pour des installations rapides, reproductibles et à haute densité-.
Points clés à retenir
Les charges de travail d'IA réécrivent les exigences de câblage des centres de données autour d'une bande passante plus élevée, d'une fibre parallèle plus dense, de budgets de perte serrés, d'un routage tenant compte du flux d'air et de cycles de mise à niveau courts. La couche physique ne rendra pas les GPU plus rapides à elle seule, mais une mauvaise couche limitera les performances, la fiabilité et la vitesse de mise à niveau de l'ensemble de l'environnement.
Le principe de conception le plus sûr consiste à planifier l'installation de fibre optique, la capacité du chemin, l'architecture des correctifs et le modèle de documentation avant l'arrivée des racks GPU, et non après le premier cycle d'extension. Construisez pour au moins un saut de vitesse, choisissez les médias par rôle plutôt que par habitude, et traitez la propreté, la polarité et le flux d'air des connecteurs comme des contraintes de conception de premier ordre. Avant de déployer ou d'étendre, examinez votre câblage actuel par rapport à la liste de contrôle ci-dessus ; pour le câblage structuré et les composants MTP/MPO, explorez notresolutions fibre optique.
