QSFP-DD convient parfaitement à un cluster d'IA lorsque le commutateur ou le point de terminaison utilise déjà une cage QSFP-DD native, lorsqu'une large base de modules qualifiés de la famille QSFP-et de fibre doit rester en service, et lorsque la plate-forme peut refroidir les modules choisis avec chaque port occupé. Ce n'est pas un bon point de départ lorsque les serveurs et les commutateurs GPU sont construits autour de cages OSFP natives, ou lorsque les optiques dont vous avez réellement besoin nécessitent plus de marge thermique que ce que l'hôte peut leur donner.
Le facteur de forme n'est pas la première décision. C'est à peu près le quatrième. Une conception de réseau qui survit à sa première formation en production commence par les interfaces serveur, le nombre de rails, la topologie cible, le taux de surabonnement acceptable et le chemin de câble mesuré. Ce n’est qu’à ce moment-là que la forme du module compte.
Ce guide parcourt cet ordre de bout en bout, avec un calcul de capacité travaillée, un tableau de sélection de liens-et une séquence de validation que vous pouvez remettre à une équipe de laboratoire.

Quel facteur de forme devriez-vous choisir ?
| Condition du point de terminaison | Premier choix à évaluer |
|---|---|
| Les deux extrémités sont nativement QSFP-DD/QSFP-DD800 | QSFP-DD |
| Les deux extrémités sont nativement OSFP | OSFP |
| Migration depuis une base 400G QSFP installée | QSFP-DD, à condition que l'hôte prenne en charge le mode de port requis |
| Optique haute-puissance sur une plate-forme dont la cage native est OSFP | OSFP |
| Une extrémité OSFP, l'autre QSFP-DD | Un DAC/AEC multi--facteur de forme-qualifié ou une liaison optique avec un PMD, un débit de voie et un mode FEC correspondants aux deux extrémités |
La règle sous-jacente est courte :choisissez la cage native du point de terminaison, puis vérifiez le débit de la voie électrique, l'interface optique, le mode FEC, la classe de puissance et le micrologiciel pour ce numéro de pièce exact.Tout ce qui suit représente le travail requis pour appliquer honnêtement cette règle.
Les cinq décisions, dans l'ordre
La plupart des mauvaises constructions de réseaux d'IA proviennent de la prise de décisions dans le désordre - en choisissant d'abord un module et en découvrant la contrainte plus tard. Chaque étape ci-dessous alimente la suivante, et chacune modifie ce que vous pouvez acheter à l'étape suivante.
- Confirmez les points de terminaison.Type de cage natif et mode de protocole aux deux extrémités de chaque liaison.
- Calculez la capacité.Ports par nœud, par rail, puis capacité de liaison descendante et de liaison montante selon votre taux de surabonnement cible.
- Sélectionnez le lien physique.Longueur de trajet mesurée, installation de fibre, connecteur, besoin de dérivation.
- Validez le numéro de pièce.FEC, débit de voie, classe de puissance, micrologiciel, révision CMIS, qualification du fournisseur.
- Déployer par domaine de défaillance.Laboratoire d'abord, puis un rack, un rail ou une unité évolutive à la fois.
Étape 1 : Séparez le facteur de forme, le protocole et l'interface optique
Ces trois éléments sont constamment regroupés en une seule décision, et c’est de cet effondrement que proviennent la plupart des surprises en matière de compatibilité. Ce sont des niveaux distincts avec des documents directeurs distincts.
Le facteur de formedéfinit les dimensions mécaniques, le connecteur hôte, les voies électriques, le comportement de gestion et la conception thermique. LeQSFP-Spécification matérielle DD MSAcouvre les exigences mécaniques, électriques et thermiques, et ses révisions ultérieures étendent le même port hôte à huit-voies aux variantes 800G et 1,6T tout en conservant une compatibilité ascendante avec la famille QSFP. Si vous souhaitez acquérir une formation en mécanique et en gestion avant d'aller plus loin, notrePrésentation technique de QSFP-DDcouvre le facteur de forme lui-même en détail.
Le protocole- Ethernet, RoCEv2 ou InfiniBand - est décidé par la carte réseau, le commutateur ASIC, le micrologiciel et la configuration du port, et non par la forme de la cage. Un module QSFP-DD ne doit jamais être décrit comme « prenant en charge à la fois Ethernet et InfiniBand » en tant que propriété du facteur de forme. Cette capacité appartient à l'hôte et doit être confirmée sur le port spécifique.
L'interface optique- DR8, FR4, SR8, LR - décrit l'organisation, la portée et l'application des voies. Il ne décrit pas le connecteur, le nombre de fibres, la cartographie des connexions ou le débit des voies électriques. Deux modules portant la même étiquette optique peuvent différer dans chacun d'entre eux. La signalisation elle-même est définie par l'IEEE, et non par le MSA :Norme IEEE 802.3df-2024ajout des paramètres MAC et des couches physiques pour un fonctionnement à 800 Gb/s et des PHY supplémentaires à 400 Gb/s.
Le comportement de gestion constitue un quatrième niveau, plus discret. Les modules QSFP-DD et OSFP sont gérés via CMIS, et la révision est importante pour le comportement de mise à jour du micrologiciel, la sélection des applications et la synchronisation du module hôte-. Les révisions publiées sont répertoriées dans leAccords de mise en œuvre de l'OIF.
Étape 2 : Dimensionner le réseau à partir des ports du serveur, et non du nombre de GPU
Le nombre de GPU vous indique la taille d'un cluster. Il ne vous indique pas ce que le réseau doit transporter, car le réseau ne voit que les interfaces serveur.
Deux exemples illustrent ce point. Un système NVIDIA DGX H100/H200 expose huit interfaces de matrice de calcul ConnectX-7-jusqu'à 400 Gbit/s chacune, mais il ne s'agit pas de huit cages physiques. L'architecture de référence SuperPOD montre la structure informatique présentée à traversquatre émetteurs-récepteurs à deux-ports atteignant les huit GPU. Un DGX B300, en revanche, présentehuit ports réseau sur le plateau GPUdesservant huit interfaces ConnectX-8 jusqu'à 800 Gb/s. Même nombre de GPU, inventaire de ports totalement différent, nombre de câbles et facture d'optique.
Donc, avant de consulter une seule fiche technique de commutateur, documentez pour chaque type de nœud : calculez les-ports de structure, le débit de port, la carte réseau-vers-le mappage GPU ou rail, le type de cage natif, les modes de protocole pris en charge, ainsi que les interfaces de stockage et de gestion distinctes. Cet inventaire, et non le numéro de GPU, constitue l'entrée de chaque calcul qui suit.
Un calcul de capacité travaillée
Prenez une unité évolutive de 32 nœuds, chacun doté de huit ports de structure de calcul-de 400 G, un port par rail, dans une conception optimisée pour les rails-. Travaillez un rail à la fois :
- Capacité de liaison descendante par feuille de rail= 32 nœuds × 1 port × 400 G =12,8 To/s
- À 1:1 (non-bloquant), capacité de liaison montante requise=12.8 Tb/s → 12 800 ÷ 800 =Liaisons montantes 16 × 800G
- À 2:1, capacité de liaison montante requise=6.4 Tb/s →Liaisons montantes 8 × 800G
Vérifiez ensuite le résultat par rapport à la base du commutateur : 32 liaisons descendantes plus 16 liaisons montantes nécessitent 48 ports utilisables sur cette feuille, ce qui limite immédiatement votre choix de commutateur. Ajoutez des liens pour la redondance et la maintenance, et répétez par rail - huit rails, huit groupes feuilles, pas un nombre global. C'est là que le 800G gagne ou non sa place : ici, il divise par deux le nombre de ports de liaison montante, ce qui est un argument de base et non un argument de bande passante.
Les structures de type fat tree optimisées et équilibrées pour Rail-sont le modèle que NVIDIA documente pour les grands clusters de formation - leArchitecture de référence DGX H100 SuperPODutilise un arbre-complet avec huit connexions de calcul par-système. La question de savoir si ce modèle convient à votre charge de travail est un jugement de conception, mais la méthode de calcul ci-dessus est valable quelle que soit la topologie.
Étape 3 : Planifiez les quatre tissus, puis revenez aux modules
Un cluster d'IA n'est pas un réseau. Les architectures de référence DGX SuperPOD se séparentcalcul, stockage,-gestion intra-bande et-hors-gestion de la bandetissus, et chacun produit ses propres besoins en matière de port et d'optique.
Letissu informatiqueeffectue l'échange de gradients, la synchronisation des paramètres, les collectifs et les opérations de mémoire à distance. Il présente les exigences les plus strictes en matière de latence, de congestion et de symétrie de chemin-, et c'est là que l'argument 800G-contre 400G est réellement réglé.
Letissu de rangementtransporte des données de formation, des points de contrôle et des artefacts de modèle. Sa capacité dépend du format de l'ensemble de données, du taux de réussite du cache, du parallélisme du chargeur de données-, de la fréquence des points de contrôle et de l'intensité des métadonnées -, c'est pourquoi "400 G suffisent pour le stockage" n'est pas une valeur par défaut sûre. Les architectures de référence spécifient les performances de stockage au niveau du système et les maintiennent précisément hors de la structure de calcul afin que les deux charges de travail ne puissent pas s'endommager mutuellement.
Leréseau de gestion en-bandetransporte l'approvisionnement, le trafic du planificateur, les registres, les référentiels et la surveillance. Lehors-réseau-hors bandeatteint les BMC, les ports de gestion des commutateurs et l'alimentation du rack, et doit rester accessible pendant que la structure de production est interrompue. Traitez-le comme un chemin de récupération et de sécurité avec sa propre liaison montante, et non comme un trafic restant à faible vitesse-.
Pour la sélection des modules, la conséquence pratique est la suivante : chaque structure apporte son propre nombre de ports, son propre profil de distance et son propre type de cage, et ils sont souvent différents. Un cluster peut être OSFP sur le calcul et QSFP-DD sur le stockage et la gestion sans que rien ne cloche.
Étape 4 : Choisissez 400 G ou 800 G à partir d'une contrainte et non d'une tendance
Un port 800G double la capacité nominale. Cela ne réduit pas le trafic généré par votre application. Sa valeur est presque toujours structurelle - moins de liens, une meilleure efficacité de base ou un point de terminaison 800G natif.
400G reste le meilleur choixlorsque les points de terminaison de calcul sont nativement 400G, la structure actuelle atteint déjà son objectif de blocage, le cluster se développe à l'intérieur de la base disponible, un module 400G qualifié et une base de câblage existent déjà, ou les contraintes d'alimentation et de refroidissement rendent le 800G peu attrayant. Utiliser 800Gliaisons montantesau-dessus des serveurs 400G est toujours parfaitement raisonnable - mais justifiez-le par l'arithmétique du port ci-dessus, pas par l'étiquette.
800G améliore la conceptionlorsque les serveurs exposent des interfaces 800G natives, lorsque de nombreux flux 400G doivent se regrouper en moins de liens spine, lorsque le nombre de ports de commutation est la contrainte contraignante, ou lorsque le passage du 800G à des interfaces enfants à vitesse inférieure-simplifie une migration. Exprimé avec précision : 800G peut réduire le nombre de liens physiques ou de ports de commutationdans les conceptions où l'agrégation et la base sont les contraintes limitantes. Il ne s’agit pas d’une loi de la nature.

La migration à vitesse mixte- nécessite une documentation explicite
C'est là que les conceptions-à vitesse mixte échouent discrètement. Les cartes réseau modernes rendent cela configurable plutôt que fixe - ConnectX-8 de NVIDIAdocumentation sur le fractionnement de port-montre une seule cage OSFP 800G en cours de reconfiguration en deux ports 400GbE ou huit ports 100GbE, chacun nécessitant un changement de configuration au niveau du micrologiciel-et un cycle d'alimentation. Cette flexibilité n'existe que lorsque le fournisseur l'a testée et publiée.
Ainsi, un plan de migration doit indiquer, par port : quels ports fonctionnent à quelle vitesse, si l'hôte prend en charge le mode de dérivation prévu, le débit de la voie électrique aux deux extrémités, si la dérivation est logique, optique ou basée sur un câble-, le mode FEC dont chaque interface enfant a besoin, si le nombre de fibres et le type de connecteur existants peuvent être réutilisés, et comment la surveillance identifiera chaque port enfant. L'insertion d'un module à vitesse inférieure-ne rend pas tous les modes hôte disponibles.
QSFP-DD contre OSFP
| Facteur de décision | QSFP-DD | OSFP |
|---|---|---|
| Compatibilité de la famille QSFP- | Natif, où l'hôte prend en charge le mode | Possible pour certains modules via un adaptateur-conçu à cet effet |
| Taille des modules | Plus petit | Plus grand |
| Conception thermique | Conceptions de-dissipateurs thermiques ; vérifier à pleine population | Dissipateur thermique intégré ou chevauchant ; MSA définit des classes de puissance supérieures |
| Utilisation typique du-système d'IA | Switchs Ethernet, plates-formes à-vitesses mixtes | Plusieurs plates-formes GPU et InfiniBand hautes-performances |
| Règle de décision | Préférer les points de terminaison QSFP natifs -La réutilisation DD et QSFP est importante | Préférez lorsque les points de terminaison sont OSFP natifs ou que les optiques ont besoin de leur enveloppe de puissance |
Deux affirmations doivent être limitées. Premièrement, "OSFP n'a pas de compatibilité ascendante" est trop large - leOSFP MSAdocumente la compatibilité QSFP via un adaptateur dédié, et sa spécification de module définit les classes de puissance supérieures et les options de dissipateur thermique-intégrées qui confèrent à OSFP sa réputation thermique. Deuxièmement, cette réputation constitue un plafond de spécification et non une garantie. La capacité d'un châssis donné à exécuter des modules de classe 30 W-dans chaque cage dépend de la conception de la cage, de la direction du flux d'air, de la température d'entrée, de la politique des ventilateurs, du déclassement des ports adjacents-et des propres limites du fournisseur du système.
C'est pourquoi la validation thermique de la-population complète n'est pas-négociable : un module qui passe dans un port peut dépasser la limite de température de son boîtier-lorsque les 32 ou 64 ports sont allumés, et encore une fois lorsqu'un ventilateur ou une alimentation tombe en panne. Testez le système peuplé, à votre température d'entrée réelle.
Si le serveur est OSFP et le commutateur est QSFP-DD, résistez au réflexe de standardisation. Les adaptateurs ajoutent des considérations en matière de dégagement mécanique, de flux d'air, de puissance, de -intégrité du signal, d'inventaire et de support. Un câble multi--facteur de forme- qualifié, ou une liaison optique avec PMD et FEC correspondants à chaque extrémité, est souvent plus propre que de remplacer le matériel pour faire correspondre les formes.

Étape 5 : Sélectionnez le lien en fonction de la distance mesurée et de la fibre existante
La capacité et les points de terminaison ont désormais corrigé la vitesse du port et la cage. La distance et l'usine de fibre installée résolvent tout le reste. En tant que ligne directrice d'ingénierie plutôt qu'en règle générale, le lien techniquement valide le plus court est généralement le plus simple à exploiter -, mais les exigences en matière de flexibilité, de diamètre de câble, de facilité d'entretien et de dérivation s'y opposent.
| Itinéraire | Option typique | Que confirmer |
|---|---|---|
| Intra-rack, très court | DAC passif | Longueur exacte et type de câble pris en charge aux deux extrémités ; rayon de courbure ; poids |
| Cuivre court mais au-delà du passif | AEC/ACC | Consommation d'énergie, latence supplémentaire, blocage du flux d'air, qualification du fournisseur, prise en charge du mode port |
| Optique courte, longueur fixe acceptable | AOC | Facilité d'entretien - une panne remplace l'ensemble de l'assemblage |
| Multimode, d'une-ligne à une-ligne adjacente | Optique parallèle de classe SR- | Qualité des fibres et limites de portée ; voir notreGuide des limites de distance OM1 – OM5 |
| Mode unique-, inférieur à-kilomètre, recherche de petits groupes | Optique parallèle de classe DR- | Taille MPO, polarité, polissage APC/UPC, cartographie des cassures |
| Mode unique-, échelle kilométrique | Classe FR-duplex ou parallèle, selon le produit | Le type de connecteur varie selon le numéro de pièce ; qualité de fibre - comparerFibre monomode OS1 et OS2- |
L'implémentation du connecteur est ici le piège, car elle n'est pas impliquée par l'étiquette optique. Les fournisseurs proposent des produits 800G DR8 avec une connectivité double MPO-12 ou simple MPO-16, ainsi que des produits de classe FR 2 km avec MPO parallèle ou LC double duplex. Les deux variantes sont légitimes ; ils ont besoin d'un câblage complètement différent. Avant de commander des lignes réseau, réglez délibérément la question du connecteur - notreGuide de sélection MTP vs MPOcouvre les différences mécaniques et de polarité, et leGuide-câble épanoui MPOcouvre le mappage de distribution-dont dépendent les ports de dérivation.
Deux autres éléments appartiennent à la même conversation. La perte de canal doit être budgétisée par rapport aux spécifications du module avec les connecteurs et les épissures comptés, et non supposés - voircomment la perte d'insertion s'accumule dans les réseaux de fibre. Et le câblage structuré entre les rangées est plus facile à entretenir lorsqu'il est construit sur des-préterminésCâbles principaux MPO/MTPavec une méthode de polarité documentée plutôt que des essais assemblés sur le terrain. Lorsque des liaisons FR duplex sont utilisées, la qualité de l'extrémité du connecteur entraîne directement la perte ; leGuide du connecteur LCcouvre ce qu'il faut inspecter.
Pour chaque liaison, enregistrez : la cage hôte, le débit des voies hôtes, la vitesse du port configuré, le type de PMD ou de câble, le connecteur, le type et le nombre de fibres, la perte maximale de canal, le mode FEC, le mappage de dérivation, le code d'application du module, les exigences CMIS et micrologiciel, la puissance maximale et l'état de qualification. Cet enregistrement par-lien vaut plus que n'importe quelle règle générale sur quelle optique va où.

RoCEv2 ou InfiniBand : décidez-en indépendamment
Le choix du protocole est orthogonal au facteur de forme et doit être effectué pour des raisons opérationnelles.
RoCEv2convient aux organisations qui utilisent déjà Ethernet à grande échelle, avec des fonctionnalités RoCE validées sur la plate-forme de commutation et une équipe capable de gérer la qualité de service, le contrôle de congestion, la télémétrie et la configuration de l'hôte. La mise en garde est que « activer PFC et ECN » n'est pas un plan de déploiement. La documentation Cumulus Linux de NVIDIA décritRoCE comme configuration complexecouvrant les pools de tampons, la classification du trafic, le mappage des priorités, les seuils et la planification PFC et ECN, avec un mode sans perte utilisant PFC et ECN ensemble et un mode avec perte utilisant ECN uniquement - et note que la configuration générée pour une génération d'ASIC de commutateur n'est pas transférée à une autre.
InfiniBandeconvient aux déploiements suivant une architecture de fournisseur validée, où la gestion intégrée de la structure est précieuse et où l'équipe dispose déjà des outils et de l'expertise.
Basez votre choix sur le comportement de l'application testée, les compétences opérationnelles, les limites du support et la conception globale du système. Les pourcentages de performances marketing dépendent de la topologie, de la version du logiciel, de la taille des messages, de l'état de congestion et de la configuration de la carte réseau, et sont rarement transférés vers un autre cluster.
Validation : ce qu'il faut tester avant d'acheter en volume
Un test de laboratoire représentatif couvre quatre domaines, et l'ordre importe avant tout sur la stabilité du lien -, car les chiffres de performances d'un lien instable n'ont aucun sens.
Afficher- :démarrage à froid, redémarrage à chaud, insertion et retrait de modules, désactivation/activation de port, création et suppression de dérivation, et les deux extrémités ont redémarré dans des séquences différentes.Intégrité du signal :pré-FEC BER, nombres FEC corrigés et non corrigibles, erreurs au niveau de la voie-, PRBS ou BERT si pris en charge, puissance de transmission et de réception optique, température du boîtier du module et nombre de volets de liaison-sous charge thermique.Performance:un débit soutenu, les collectifs et la taille des messages que vos tâches utilisent réellement, le trafic multi-rail simultané, l'incast, le stockage-plus-les conflits de calcul et une longue période d'immersion.Échec:liaison unique, commutateur feuille, liaison spine, récupération du cycle d'alimentation-, remplacement des câbles et des modules, perte de chemin de gestion-.
Enregistrez les seuils, pas seulement la réussite/l’échec. Les erreurs FEC non corrigibles doivent être nulles sur une liaison saine ; Les taux d'erreur pré-FEC doivent se situer bien à l'intérieur de la marge spécifiée du module et y rester à mesure que la température du boîtier augmente pendant le trempage. Un maillon qui tend vers le haut au cours d’un trempage de 48 heures est un maillon qui échouera en production.
Déployez ensuite par domaine de défaillance - un rack, un rail, une paire de feuilles ou une unité évolutive à la fois - et surveillez les changements d'état des liaisons, les décomptes corrigés et non corrigibles FEC, la température du module, la puissance optique, l'activité de pause PFC, le marquage ECN, l'occupation de la file d'attente et le temps de communication au niveau des tâches-. Un lien toujours actif peut toujours être dégradant ; L'augmentation des erreurs corrigées-et les tendances de température sont les premiers avertissements que vous recevez.
Trois scénarios de conception
Extension d'une structure Ethernet 400G existante.Des commutateurs QSFP-DD 400G qualifiés et un câblage structuré sont déjà en place ; les nouveaux nœuds exposent 400G. Maintenez les liaisons côté serveur-à 400 G, exécutez le calcul de liaison montante ci-dessus pour tester le taux de blocage et introduisez 800 G uniquement là où cela achète l'efficacité du port spine. Réutilisez les optiques et les fibres qualifiées partout où le budget de perte le permet, et validez chaque configuration de dérivation à vitesse mixte-avant l'achat. C'est la base de commutation qui détermine cette décision, et non le nombre de GPU.
Créer un cluster natif de 800 G-.Les serveurs exposent du 800G natif. Suivez la topologie validée par le fournisseur de serveur, choisissez les commutateurs avec la cage native correspondante, vérifiez la capacité thermique de la totalité de la population à la température de votre entrée, choisissez l'interconnexion à partir des longueurs de route mesurées et validez chaque combinaison de répartition et de FEC avant de vous engager. Ici, 800G est justifié par le point final lui-même.
Vivre avec deux facteurs de forme.Les serveurs sont OSFP ; une partie du parc de commutation Ethernet est QSFP-DD. Comparez les assemblages DAC ou AOC multi-facteur de forme-qualifiés, l'interopérabilité optique avec différentes cages à chaque extrémité, les adaptateurs approuvés, les implications énergétiques et thermiques, l'inventaire de rechange et la propriété du support. Le remplacement d'un côté uniquement pour standardiser la forme du module est souvent plus coûteux que l'exploitation d'un environnement mixte documenté.
Sept erreurs qui entraînent des retouches
- À partir du nombre de GPU.Il ne décrit pas le nombre de cartes réseau, le mappage ferroviaire, le débit de port ou le surabonnement. Calculez à partir des interfaces serveur.
- En supposant que 800G soit plus rapide pour chaque tâche.Cela n'est utile que là où les points de terminaison, la topologie et le modèle de trafic peuvent l'utiliser. Comparez les collectifs que vous dirigez réellement.
- Traiter QSFP-DD comme un protocole.C'est une cage. Validez la cage, le protocole, le mode électrique, l’optique et le FEC séparément.
- Ignorer les structures de stockage et de gestion.Une structure informatique rapide ne peut pas compenser la lenteur de la livraison des points de contrôle ou un BMC inaccessible.
- Lecture de l'étiquette optique comme spécification de câblage.DR8 et FR4 ne spécifient pas de connecteur, de nombre de fibres ou de conception de dérivation. Utilisez des numéros de pièces exacts et un schéma de câblage.
- Test d'un port.Le débit d'air-de la population totale et la température d'entrée constituent le véritable test.
- Citer des pourcentages de performance sans méthode.Publiez la topologie et la méthode de test, ou supprimez le numéro.
Construire un modèle de TCO que vous pouvez défendre
Les coûts d'investissement couvrent les cartes réseau ou DPU, les commutateurs feuille et spine, les émetteurs-récepteurs, les DAC, les AEC et les AOC, les liaisons fibre optique et les correctifs, les racks et la gestion des câbles, les équipements de test et les pièces de rechange. Les coûts opérationnels couvrent l’alimentation des modules et des commutateurs, le refroidissement, la surveillance, la qualification du micrologiciel, la formation, la main-d’œuvre de remplacement et l’assistance du fournisseur. Les coûts de risque - ceux généralement omis - couvrent les échecs de compatibilité, les retards de déploiement, le déclassement thermique, l'instabilité des liaisons, le re-câblage, les tâches de formation interrompues et le temps de récupération prolongé.
La rétrocompatibilité réduit véritablement les coûts, mais l'économie doit être calculée à partir de l'équipement spécifique qui peut être réutilisé à la vitesse et dans le mode requis. La compatibilité des facteurs de forme-à elle seule ne garantit pas que l'ASIC, le PCB, la cage, le système de refroidissement, le micrologiciel ou le budget d'alimentation actuels pourront exécuter la prochaine génération. Considérez la future migration rapide comme une question de plate-forme et non comme une question de connecteur.
Foire aux questions
QSFP-DD est-il adapté aux clusters de formation d'IA ?
Oui, lorsqu'il est natif du commutateur ou du point de terminaison choisi, qu'il répond aux exigences thermiques pour une population complète de ports et qu'il prend en charge le mode de port et l'interface optique requis. Le débit de données nominal à lui seul ne constitue pas une raison pour le sélectionner.
Combien de GPU nécessitent un réseau 800G ?
Il n'y a pas de seuil GPU. Calculez à partir des ports réseau par serveur, de la vitesse des ports, du mappage des rails, de la topologie, de la cible de surabonnement et du trafic d'application - selon la méthode de l'étape 2 ci-dessus.
QSFP-DD est-il meilleur que OSFP ?
Ni l’un ni l’autre n’est universellement meilleur. QSFP-DD offre une compatibilité native avec la famille QSFP-et un encombrement réduit ; La spécification OSFP définit des classes de puissance plus élevées et des options de dissipateur thermique-intégrées, et elle est native sur plusieurs plates-formes d'IA hautes-performances. Le point final décide.
Un port OSFP peut-il utiliser un module QSFP ?
Certaines implémentations OSFP prennent en charge les modules QSFP via un adaptateur approuvé, mais la compatibilité, l'alimentation, le mode de port et la prise en charge du fournisseur doivent tous être vérifiés pour la plate-forme spécifique.
QSFP-DD peut-il être utilisé à la fois pour Ethernet et InfiniBand ?
Le facteur de forme ne détermine pas le protocole. Le port hôte, la carte réseau, le commutateur, le micrologiciel, le câble et l'émetteur-récepteur doivent tous prendre en charge le mode de fonctionnement prévu.
Quel émetteur-récepteur 800G dois-je utiliser ?
Commencez par la distance mesurée, la cage du point final, la dérivation requise, le type de fibre, le connecteur, le débit de voie, le mode FEC, la classe de puissance et la qualification du fournisseur. Le nom de l’interface optique ne suffit pas à lui seul.
La rétrocompatibilité QSFP-DD garantit-elle une mise à niveau facile vers 1,6 T ?
Le port hôte peut accepter le module mécaniquement alors que l'ASIC, le PCB, la cage, le refroidissement ou le budget d'alimentation ne peuvent pas prendre en charge le nouveau débit de voie. Vérifiez au niveau de la plateforme.
Avant de signer le bon de commande
Confirmez la cage du point de terminaison aux deux extrémités de chaque type de lien ; le nombre et la vitesse des ports de structure de calcul-par nœud ; la cartographie ferroviaire et le taux de sursouscription cible ; décompte des ports des feuilles et de la colonne vertébrale, y compris la redondance ; les exigences des quatre tissus ; le mode de fonctionnement et, pour RoCE, la conception complète du contrôle de la congestion- ; le tracé du câble mesuré et le choix d'interconnexion qui en résulte ; connecteur, polarité et bilan de perte ; FEC et mode breakout ; puissance du module par rapport aux limites thermiques de la totalité de la population ; compatibilité du micrologiciel et du CMIS ; statut de qualification du fournisseur ; et les résultats de laboratoire pour les tests BER, performances, congestion, défaillance et trempage.
QSFP-DD est également compatible avec une structure d'IA évolutive de 400 G ou 800 G. Ce n’est encore qu’un élément de la conception. Commencez par les points de terminaison et le modèle de trafic, calculez la topologie, choisissez le lien physique à partir de la distance mesurée et validez le système assemblé avant qu'il n'effectue une tâche de formation.
Méthodologie et portée
Ce guide s’appuie sur trois types de sources, et elles sont délibérément distinctes dans le texte ci-dessus.Normes et documents MSA- IEEE 802.3df, les spécifications matérielles QSFP-DD et OSFP MSA et les accords de mise en œuvre OIF CMIS - définissent les facteurs de forme, la signalisation et le comportement de gestion.Documentation du fournisseur- Les guides système NVIDIA DGX, les architectures de référence DGX SuperPOD, les notes de configuration de ConnectX-8 ports et la documentation Cumulus Linux RoCE - sont cités comme exemple spécifique au fournisseur, et non comme comportement universel ; les autres plateformes diffèrent.Directives d'ingénierie- les conseils de séquençage, la préférence pour les liens plus courts, les seuils de validation - sont des recommandations opérationnelles tirées de la pratique de déploiement, et sont étiquetées comme telles plutôt que présentées comme des spécifications.