Colonne vertébrale QSFP28 100 G-Conception en feuille : évitez les erreurs de port

Une structure spine-feuille 100 G est l'un des moyens les plus fiables de connecter des serveurs 25 G, des liaisons montantes 100 G, des clusters de stockage et des charges de travail lourdes est-ouest-dans un centre de données moderne. L'attrait du QSFP28 réside dans sa flexibilité : un seul port peut transporter une liaison 100G native ou se diviser en quatre connexions serveur 25G, de sorte qu'un commutateur peut servir à la fois la périphérie d'accès et le cœur de la structure.

Les commutateurs rapides sont la partie la plus facile. Une conception 100G vit ou meurt en fonction des décisions prises avant la commande : comment chaque port est alloué, à quoi ressemble le taux de surabonnement dans des conditions normales et de panne, quelles optiques correspondent aux câbles réels, combien de chaleur ces optiques ajoutent et si la structure peut atteindre 400G sans une mise à niveau majeure.

Ce guide est une référence de planification indépendante du fournisseur-pour les équipes réseau et infrastructure. Les chiffres ci-dessous suivent les spécifications Ethernet IEEE 802.3 actuelles et les accords optiques multi-sources pertinents, mais chaque commutateur et émetteur-récepteur a sa propre fiche technique, alors confirmez les chiffres exacts du matériel que vous achetez.

Comment lire les exemples de ce guide.Sauf indication contraire, ils supposent des serveurs-hébergés uniques avec une carte réseau de 25 G chacun, 48 ports hôtes par feuille, des liaisons montantes de 100 G-de feuille à-colonne vertébrale, un maillage complet dans lequel chaque feuille se connecte à chaque colonne vertébrale et une correction d'erreur directe activée là où l'optique l'exige. Un double-hébergement, des cartes réseau plus rapides ou un nombre de ports différent modifieront chaque nombre qui suit.

Qu'est-ce qu'un réseau Spine-Leaf 100 G ?

Spine-leaf est une architecture de centre de données-à deux niveaux construite à partir de commutateurs feuille et de commutateurs spine. Les commutateurs Leaf se trouvent en haut de chaque rack et fournissent des ports côté serveur- ainsi que des liaisons montantes vers la colonne vertébrale. Les commutateurs spine forment l'épine dorsale à grande vitesse. Chaque feuille se connecte à chaque colonne vertébrale, de sorte que le trafic entre les racks se déplace d'une feuille à l'autre le long d'un chemin de longueur égale-.

Le design est populaire car il offre :

• Longueur de chemin prévisible et égale entre deux racks quelconques
• Prise en charge native du trafic intense est-ouest
• Toutes les liaisons montantes sont actives via ECMP plutôt que bloquées par Spanning Tree
• Mise à l'échelle horizontale simple - ajoutez des feuilles pour les ports, ajoutez des épines pour la capacité

Dans une structure 100 G, les liaisons feuille-à-spine fonctionnent à 100 G, tandis que les ports côté serveur-fonctionnent à 10 G, 25 G, 50 G ou 100 G en fonction de la charge de travail. Aujourd’hui, l’accès 25G avec des liaisons montantes 100G constitue la combinaison d’entreprise la plus courante.

Conception physique vs conception logique

La « conception de réseau » couvre deux niveaux faciles à confondre. Ce guide se concentre sur les ports de la couche physique et de capacité -, l'optique, le surabonnement, le câblage -, car c'est ce à quoi vous vous engagez lorsque vous achetez du matériel. Mais la couche logique décide de la manière dont la structure achemine le trafic et façonne plusieurs choix physiques.

Du côté physique se trouvent la sélection des commutateurs et des ports, les vitesses des cartes réseau, le surabonnement, l'optique, le câblage, l'alimentation et le refroidissement. Du côté logique, il y a l'équilibrage de charge ECMP-sur les liaisons montantes ; une superposition telle que VXLAN avec un plan de contrôle BGP EVPN pour les couches 2 et 3 multi-tenant - sur une sous-couche routée ; double-homing avec MLAG ou MC-LAG et LACP au niveau du bord d'accès ; et le dimensionnement du domaine d'échec-. Pour les structures RDMA, vous devez également concevoir un réseau quasiment-sans perte, décrit ci-dessous. Définissez le modèle logique dès le début, car il affecte le nombre de liaisons montantes, le nombre de spines souhaités pour la largeur ECMP et si les feuilles sont déployées sous forme de paires MLAG.

Étape 1 - Définir la vitesse et la charge de travail du serveur

Commencez par la charge de travail, pas par l’optique. Un cluster de virtualisation général, une structure de stockage et un module de formation IA ont des besoins très différents, et la bonne conception suit le trafic.

Serveurs 25G avec liaisons montantes 100G

Pour la plupart des environnements cloud d'entreprise et privés-, l'accès 25 G avec des liaisons montantes de 100 G de feuille-à-spine est la solution idéale : un saut important par rapport à 10 G tout en maintenant des coûts de carte réseau, de câble et de commutateur raisonnables. Une version typique associe des liaisons descendantes de 25 G, des liaisons montantes de 100 G et un rapport de 2 : 1 à 3 : 1 pour le calcul général, avec un surabonnement inférieur réservé aux niveaux sensibles au stockage et à la latence-. Il s'adapte à la virtualisation, au cloud privé, aux niveaux Web et à la plupart des centres de données d'entreprise.

100G natif pour le stockage, l'IA et le HPC

Certaines charges de travail nécessitent une connexion 100G native au serveur : stockage distribué et NVMe-oF, formation à l'IA et au machine learning-, HPC,-analyses à grande échelle et RDMA à faible-latence. Ici, le surabonnement devrait être faible - souvent non-bloquant ou proche de celui-ci - car le modèle de trafic est le problème, pas seulement le volume.

Les charges de travail d'IA, HPC et RDMA génèrent un trafic dense et synchronisé de tout-vers-est-ouest : de nombreux nœuds transmettent à plusieurs nœuds en même temps, de sorte que le lissage statistique qui vous permet d'économiser sur une structure de virtualisation ne s'applique plus. RDMA sur Ethernet Convergé (RoCE) ajoute une deuxième contrainte, car il s'attend à une structure quasiment sans perte, ce qui signifie en pratique un contrôle de flux prioritaire (PFC) et une notification explicite de congestion (ECN) réglés de bout en bout. Une structure qui abandonne des trames en cas de congestion verra les performances RoCE s'effondrer, de sorte que ces clusters sont généralement construits à l'échelle 1:1 avec une configuration minutieuse de la mémoire tampon et de la congestion.

Étape 2 - Comment calculer les ports de commutation Leaf et Spine pour une structure 100G

La planification portuaire commence au niveau de la feuille, pas de la colonne vertébrale. Travaillez vers l'extérieur depuis les serveurs :

1. Comptez les ports-face au serveur par rack.
2. Décidez si chacun est natif 25G, natif 100G ou une voie de dérivation.
3. Réservez les ports QSFP28 pour les liaisons montantes de la colonne vertébrale.
4. Ajoutez des ports de rechange pour la croissance, la redondance, les tests et le remplacement.
5. Recalculez le surabonnement après l’attribution de la répartition, pas avant.

Nombre de ports côté serveur-

Pour chaque rack, indiquez le nombre de serveurs, la vitesse de la carte réseau, les cartes réseau par serveur, à hébergement simple- ou double- et les pièces de rechange requises. Un rack de 48 serveurs avec une carte réseau 25G chacun nécessite 48 ports hôtes. Double-hébergez ces serveurs sur une paire feuille et le nombre de ports d'accès dans la paire double.

Réservez des ports de liaison montante et observez le double-compte

Après les ports hôtes, réservez les ports QSFP28 pour la colonne vertébrale. C'est là que se cache l'erreur la plus courante : si les mêmes ports QSFP28 sont utilisés pour le breakout 4x25G, ils ne sont plus disponibles en liaison montante. La plus grosse erreur de planification n’est pas de mal compter les liaisons montantes 100G, mais de surestimer les ports de liaison montante restants une fois que le breakout les a rongés. Attribuez la répartition avant les calculs de surabonnement, sinon le ratio que vous avez calculé est une fiction.

Un exemple concret aide. Prenez une feuille 1U commune avec 48 ports hôtes SFP28 et 8 ports QSFP28 :

Avec six liaisons montantes transportant les 1 200 G de trafic d'accès, la feuille fonctionne à 2:1 et deux ports QSFP28 restent en réserve. Donnez à chaque port un rôle unique et explicite sur une feuille de calcul avant de dimensionner autre chose.

Laisser une capacité inutilisée

Ne consommez pas tous les ports dès le premier jour. Réservez de la marge pour les nouveaux serveurs, les spines supplémentaires, les liens de test temporaires, les échanges de ports en échec, les taps de surveillance et la migration. Une petite capacité inutilisée coûte bien moins cher qu’une refonte.

Étape 3 - Calculer le surabonnement, y compris N-1

Le surabonnement compare la bande passante totale-face au serveur sur une feuille avec sa bande passante totale de liaison montante vers la colonne vertébrale :

Ratio de surabonnement = bande passante totale de liaison descendante/bande passante totale de liaison montante

Pour la feuille ci-dessus, 48 ​​x 25G=1, 200G vers le bas et 6 x 100G=600G vers le haut, ce qui donne 1 200 / 600=2 : 1. Cela signifie deux fois plus de bande passante d'accès théorique que la bande passante de liaison montante -, généralement adaptée au calcul général, où les serveurs transmettent rarement tous au débit de ligne en même temps, mais une réelle contrainte pour le stockage, l'IA, le HPC et le RDMA.

Vérifiez toujours le cas N-1

Un tissu peut paraître sain en fonctionnement normal et s'étouffer en cas de panne. Considérons une feuille avec huit liaisons montantes de 100 G réparties uniformément sur quatre épines - deux par colonne, soit 800 G au total, donc 1 200 G d'accès donnent un rapport de 1,5 : 1. Perdez une colonne vertébrale et la feuille abandonne deux liaisons montantes à 600G, poussant le rapport à 2:1 pendant la durée de la panne. Si votre objectif n'est « pas pire que 2 : 1, même en cas d'échec », vous devez commencer près de 1,5 : 1. Calculez à la fois le rapport normal et le rapport N-1 après avoir perdu une colonne vertébrale ou une liaison montante ; le deuxième numéro est celui qui mord lors de la maintenance.

Plages de planification par charge de travail

Il n'existe pas de ratio universel. Considérez donc les éléments suivants comme des plages de planification, et non comme des normes, et validez-les par rapport au trafic mesuré lorsque vous le pouvez :

Lors d'une mise à niveau, examinez l'utilisation actuelle de la liaison montante, les modèles de pointe et est-ouest, les flux de stockage et les fenêtres de sauvegarde avant de vous engager sur un ratio.

Étape 4 - Choisissez les optiques et les câbles QSFP28

Les interfaces QSFP28 100G sont standardisées par IEEE 802.3 - leAmendement 802.3bmajout de 100GBASE-SR4, aux côtés du PHY LR4 monomode-mode unique. Sélectionnez les optiques en fonction de la distance, du type de fibre, du connecteur, de la puissance et de la compatibilité des commutateurs, et évitez de choisir par défaut la portée la plus longue : une portée dont vous n'avez pas besoin signifie généralement un coût et une puissance dont vous n'avez pas besoin. Faites correspondre le module à l'exécution avec une marge raisonnable.

DAC et AOC pour les liaisons serveur courtes

Pour les connexions en-rack et-rack adjacent, les câbles QSFP28 à connexion directe en cuivre (DAC) et à fibres optiques actives (AOC) sont pratiques. Le DAC passif convient aux sauts les plus courts - quelques mètres - au coût et à la puissance les plus bas, tandis que l'AOC étend la portée et est plus léger et plus flexible là où l'encombrement du cuivre devient un problème. Pour l'accès 25G, le breakout DAC ou AOC QSFP28-to-4x SFP28 est courant lorsque le commutateur prend en charge le breakout.

100GBASE-SR4 pour les liaisons montantes multimodes courtes

SR4 transporte 100G surhuit fibres multimodes parallèlesen utilisant un connecteur MPO/MTP, ce qui en fait un-choix rentable pour les feuilles courtes-à-les feuilles à l'intérieur d'une rangée. Sa portée dépend de la qualité de la fibre - environ 70 m sur OM3 et 100 m sur OM4 -, il est donc utile de connaître la portée que vous pouvez attendre.Fibre multimode OM3, OM4 et OM5dans votre étage. La principale contrainte de planification est le câblage parallèle : le raccordement et la polarité MPO doivent être définis à l'avance.

CWDM4 ou FR pour les courses en mode unique-jusqu'à environ 2 km

Pour les liaisons entre-rangées, entre-pièces ou entre-halls, les optiques monomodes-telles que CWDM4 ou FR conviennent mieux. LeMSA 100G CWDM4définit une portée de 2 km sur une seule paire de fibres monomodes-avec un connecteur LC duplex et FEC. Parce qu'ils utilisent de la fibre duplex au lieu du MPO parallèle, les optiques CWDM4 et FR tombent souvent dans une usine monomode-plus proprement que SR4 - et sur ces distances, le choix entreFibre monomode OS1 et OS2-commence à avoir de l'importance pour votre budget de perte. Les variantes monomodes-plus courtes telles que DR couvrent environ 500 m là où c'est tout ce dont vous avez besoin.

100GBASE-LR4 pour campus et DCI

LR4 est l'option longue portée-, transportant 100 Gjusqu'à environ 10 km sur fibre monomode duplex-pour le campus, les liens d'interconnexion-entre bâtiments-ou les-centres de données-. Utilisez-le uniquement là où la distance l’exige réellement ; les optiques à longue portée-sur de courts sauts intra-centre de données-ajoutent simplement du coût, de la puissance et de la chaleur sans améliorer le tissu.

Comparaison des optiques QSFP28 100G

Le tableau résume la place de chaque option. Traitez les tronçons comme des chiffres de planification typiques et confirmez les nombres exacts, la qualité des fibres et les exigences FEC sur la fiche technique de chaque module.

Exemples concrets : tissus petits, moyens et grands

Il s’agit de modèles de planification simplifiés et non de plans. Le nombre de spines est généralement choisi pour diviser les liaisons montantes de manière égale et définir la largeur ECMP : deux spines constituent le minimum pratique pour la redondance, quatre donnent une granularité N-1 plus fine et une meilleure répartition de la charge, et huit conviennent aux grands tissus. Le nombre de feuilles évolue en fonction des ports de serveur dont vous avez besoin.

Petit tissu

• interrupteurs à 8 lames
• 2 commutateurs de colonne vertébrale
• 48 ports serveur 25G par feuille
• 4 liaisons montantes de 100 G par feuille
• 384 ports de serveur 25G hébergés-uniquement

Par feuille : 1 200 G vers le bas, 400 G vers le haut, donc 3 : 1. Réalisable pour le calcul général, mais peu adapté au stockage lourd ou à l'IA. Ajoutez des liaisons montantes ou réduisez l’accès par feuille si vous avez besoin d’un ratio inférieur.

Tissu moyen

• 16 interrupteurs à feuilles
• 4 commutateurs de colonne vertébrale
• 48 ports serveur 25G par feuille
• 6 liaisons montantes de 100 G par feuille
• 768 ports de serveur 25 G à hébergement unique-

Par feuille : 1 200 G vers le bas, 600 G vers le haut, donc 2 : 1. Un équilibre solide pour la virtualisation et les charges de travail d'entreprise, et quatre colonnes répartissent mieux ECMP que deux.

Grand tissu

• 32 interrupteurs à lames
• 8 commutateurs de colonne vertébrale
• 48 ports serveur 25G par feuille
• 8 liaisons montantes de 100 G par feuille
• 1 536 ports de serveur 25G hébergés-uniques

Par feuille : 1 200 G vers le bas, 800 G vers le haut, donc 1,5 : 1. Plus de marge de liaison montante, mais plus d'optique, de fibre, de coût, de puissance et de câblage à gérer. À cette échelle, la documentation fait partie de la conception : l'étiquetage, les cartes des ports, la polarité, les optiques de rechange, le débit d'air et la surveillance doivent tous être planifiés avant l'installation.

Planification de déploiement QSFP28 (100G à 4x25G)

Breakout est la partie la plus utile et la plus mal comprise de la conception du QSFP28. Lorsque le commutateur, le câble et la configuration le permettent, un port QSFP28 se divise en quatre liaisons SFP28 25G, connectant quatre serveurs 25G à partir d'un seul port 100G. Il gagne sa place lorsque vous avez besoin d'une densité 25G élevée, que vous disposez de nombreux ports QSFP28, que vous souhaitez réduire le coût par connexion au serveur ou que vous construisez une structure de transition 25G/100G, en utilisant QSFP28-to-4x SFP28 DAC, AOC ouCâbles breakout MTP/MPOen fonction de la distance.

Le problème est que le breakout consomme les ports QSFP28. Si un commutateur QSFP28 à 32 -ports consacre 16 ports à la répartition 4x25G, ces 16 ports prennent en charge 64 serveurs, mais il ne reste que 16 ports QSFP28 pour les liaisons montantes, le stockage, les interconnexions et les pièces de rechange. La règle générale est de compter d’abord les ports de dérivation, puis de compter ce qui reste pour les liaisons montantes.

Avant de vous engager, confirmez quelques éléments et décidez très tôt si chaque exécution doit être unecoffre ou un ensemble de dérivation:

• Quels ports prennent en charge le breakout et existe-t-il des restrictions sur les groupes de ports ?
• L'activation du breakout désactive-t-elle les ports adjacents ?
• Le système d’exploitation du commutateur prend-il en charge le mode dont vous avez besoin ?
• DAC, AOC ou optique breakout pour chaque exécution ?
• Les quatre voies sont-elles nécessaires maintenant, ou seulement plus tard ?
• Comment cette évolution affectera-t-elle une future migration vers des serveurs 100G natifs ?

Alimentation, refroidissement et gestion des câbles

Une structure 100G produit plus que de la bande passante - : elle produit de la chaleur, une charge de flux d'air et une densité de câbles. La budgétisation de l'énergie doit couvrir le châssis et les ventilateurs du commutateur, les modules optiques QSFP28 (et le DAC ou l'AOC le cas échéant), les fournitures redondantes, la capacité au niveau du rack- et la marge de croissance. Le refroidissement doit tenir compte de la disposition des allées chaudes- et froides-, de la cohérence du flux d'air avant-vers-arrière ou arrière-vers-avant, des panneaux d'obturation, de l'obstruction des câbles, de la température ambiante et de la surveillance de la température des modules-, car une colonne vertébrale remplie d'optiques représente une véritable charge thermique.

Le câblage évolue rapidement : 16 feuilles vers 4 épines représentent déjà 64 liaisons feuille-à-épine, dont chacune doit être étiquetée, acheminée, testée et documentée. Un tissu entièrement maillé-est beaucoup plus facile à construire et à entretenir avec des-éléments pré-terminésCâblage principal MPO/MTPqu'avec une fibre-terminée sur site. Les équipes doivent également régler dès le départ les conventions de connecteur et de polarité ; ledifférences pratiques entre MTP et MPOvalent la peine d'être confirmés avant de commander. Une documentation bâclée ne coûte rien le premier jour et beaucoup lors de la première panne.

Concevoir pour une mise à niveau 400G

Concevez le tissu avec un chemin de mise à niveau réaliste. Vous n’avez pas besoin de 400 G partout le premier jour, mais vous devez éviter les choix qui rendent le déménagement douloureux plus tard. Commencez à penser à la préparation 400G lorsque les liaisons montantes de spine sont déjà fortement chargées, lorsque l'ajout de spines 100G supplémentaires devient difficile, lorsque le nombre de chemins ECMP approche des limites de la plate-forme, ou lorsque l'IA, le stockage ou la croissance est-ouest s'accélère.

La stratégie habituelle consiste à mettre à niveau le spine en premier : les feuilles conservent leurs liaisons montantes 100G tandis qu'un spine-de plus grande capacité - utilisant des ports tels queQSFP-DD- ajoute de la marge, souvent avec des ports 400 G répartis en 4 x 100 G vers les feuilles existantes. La trajectoire plus large est définie par l’industrie : leFeuille de route de l'Ethernet Alliancefonctionne désormais jusqu'à 400G, 800G et au-delà, en grande partie piloté par l'IA. Lorsque vous évaluez les commutateurs, vérifiez que la plate-forme prend en charge les vitesses, les optiques, les modes de dérivation et les fonctionnalités logicielles dont une mise à niveau progressive aura besoin.

Lorsqu'une colonne vertébrale de 100 G-La conception des feuilles n'est pas le bon choix

Cette conception n’est pas universelle et quelques cas nécessitent autre chose. Une poignée de serveurs dans un ou deux racks justifient rarement une construction complète-feuille, où une paire de commutateurs redondants est plus simple et moins chère. De très grands clusters de formation d'IA peuvent dépasser ce qu'une structure d'accès 100 G et de colonne vertébrale 100 G gère bien, en atterrissant sur des structures 400 G ou 800 G - ou même un réseau InfiniBand dédié - dès le départ. Et si presque tout le trafic s'effectue vers le nord-sud vers une passerelle plutôt que vers l'est-ouest entre les racks, les avantages est-ouest de la colonne vertébrale-feuille importent moins, de sorte que la topologie doit être justifiée par des raisons de croissance et de fonctionnement plutôt que supposée. Adaptez l’architecture au trafic et à l’échelle, et non l’inverse.

Colonne vertébrale 100 G courante-Erreurs de conception des feuilles

• Compter deux fois les ports QSFP28.Un port est soit un breakout 4x25G, soit une liaison montante 100G, jamais les deux. Donnez à chaque port un rôle.
• Choisir l'optique par portée maximale.Une portée plus longue ajoute du coût et de la puissance ; faites correspondre l'optique à la distance et au type réels de la fibre.
• Ignorer N-1.Vérifiez le rapport pendant le fonctionnement normal et après la perte d'une colonne vertébrale.
• Oublier la puissance optique et la chaleur.Une colonne vertébrale remplie de modules QSFP28 constitue une véritable charge thermique, il faut donc inclure l'optique dans les calculs d'alimentation et de refroidissement.
• Traiter le câblage après coup.Le routage, l'étiquetage, la polarité et la documentation appartiennent à la conception et non à l'installation.
• Concevoir uniquement pour la vitesse des serveurs d'aujourd'hui.Si l’accès 25G passe à 100G, laissez de la place pour 100G natif ou une colonne vertébrale 400G.

Conclusion

Une bonne conception 100G Spine-Leaf est la somme des décisions prises avant l'arrivée du matériel : définir la charge de travail, compter correctement les ports, calculer le surabonnement dans des conditions normales et de panne, choisir les optiques en fonction de la distance, planifier délibérément le déploiement, budgétiser l'alimentation et le refroidissement et laisser de la place pour 400 G. Pour la plupart des centres de données d'entreprise, l'accès 25G avec des liaisons montantes 100G QSFP28 reste un bon équilibre entre performances, coût et évolutivité, tandis que le stockage, l'IA et le HPC nécessitent simplement un surabonnement inférieur et une validation plus stricte. L'approche fiable ne change pas : concevez depuis le serveur vers l'extérieur, prouvez les calculs dans des conditions normales et N-1 et documentez chaque lien avant le déploiement.