
Les tampons de commutateur sont de petits pools de mémoire à l'intérieur d'un commutateur réseau qui conservent les paquets pendant un moment lorsque le trafic arrive plus rapidement qu'un port ne peut l'envoyer. Sur un réseau local d'entreprise silencieux, cela ressemble à une note de bas de page matérielle. Au sein d'un cluster de formation d'IA ou d'une structure cloud dense, les mêmes quelques mégaoctets de mémoire peuvent décider si une tâche distribuée se termine à temps ou s'il reste en attente sur une seule liaison encombrée.
L'idée de base est simple, mais elle fait obstacle à de nombreuses décisions d'achat : les tampons sont précieux car ils absorbent les rafales, maisplus de tampon n'est pas automatiquement meilleur. La bonne conception dépend de votre modèle de trafic, de la sensibilité de la charge de travail à la latence ou à la perte, de la méthode de contrôle de la congestion-que vous exécutez et de la manière dont le commutateur répartit la mémoire tampon entre les ports et les files d'attente. Un commutateur doté d'un très grand tampon peut toujours fonctionner moins bien qu'un commutateur plus petit si cette mémoire cache la congestion au lieu de la drainer.
Ce guide est rédigé à partir des modèles couramment observés dans les tissus RoCEv2 et les déploiements de -feuilles-spine à haute densité. Il explique ce que font réellement les tampons de commutateur, pourquoi le trafic IA et GPU les stresse différemment, comment les choix de tampons affectent la latence et la perte de paquets, et ce qu'il faut tester avant de vous engager sur un commutateur.
Que sont les tampons de commutation ?
Un tampon de commutation est une mémoire de paquets temporaire. Lorsque plusieurs paquets doivent sortir via le même port au même instant, le commutateur ne peut pas tous les transmettre en même temps, il met donc les extras en file d'attente et les transmet au fur et à mesure que le port de sortie se libère.
Cette file d'attente se produit à quelques moments prévisibles :
- Trafic plusieurs-vers-un (incast), où plusieurs expéditeurs ciblent le même récepteur ou la même liaison montante.
- Microrafales, les pics courts et intenses qui durent de quelques microsecondes à quelques millisecondes
- Inadéquations de vitesse d'interface, comme un port 400G alimentant une liaison descendante plus lente
- Liens sursouscrits et rafales synchronisées provenant de plusieurs sources à la fois
- Encombrement sur une file d'attente de sortie ou une classe de trafic spécifique
Sans suffisamment de tampon utilisable, le commutateur abandonne les paquets. Avec une mémoire tampon trop occupée, les paquets restent en ligne et la latence augmente. Une bonne conception de tampon réside dans la tension entre ces deux échecs : absorber de véritables rafales sans transformer la file d’attente en enclos.
Pourquoi le trafic IA et GPU stresse différemment les tampons de commutation
Les charges de travail de l’IA ne ressemblent pas au trafic Web ou bureautique. Les clusters GPU génèrent un énorme trafic est-ouest entre les serveurs, et lors de l'entraînement distribué, la communication est souvent synchronisée : de nombreux accélérateurs échangent des données au même moment, dans la même direction, sur la même structure.
Les opérations collectives aggravent la situation. Une étape de réduction totale, une synchronisation de paramètres ou un échange de gradient peut se transformer en une rafale plusieurs-à-un ou plusieurs-à-plusieurs qui détruit un ensemble de files d'attente de sortie en quelques microsecondes. Étant donné que les sursauts sont brefs et étroitement corrélés, il est facile de les manquer avec une surveillance grossière. Par exemple, un lien ne peut lire qu'environ 40 % d'utilisation moyenne dans une fenêtre d'interrogation d'une-seconde ou de cinq-minutes tout en atteignant le débit de ligne pendant quelques millisecondes à la fois, ce qui est suffisamment long pour remplir une file d'attente, marquer ECN ou déclencher une pause PFC.
La raison pour laquelle cela est si important dans les structures d’IA est la structure de dépendance du travail. La formation distribuée a tendance à évoluer à la vitesse de son flux le plus lent. Lorsqu'un nœud GPU attend un trafic retardé, le reste du cluster reste souvent inactif avec lui, et des accélérateurs coûteux perdent du temps en attente sur le réseau plutôt qu'en informatique. Un événement tampon qui serait invisible sur un niveau Web peut ici directement prolonger le temps d'exécution d'une tâche.
Ce tissu est-ouest est également la raison pour laquelle les choix de couches physiques-accompagnent le comportement des tampons. Les backends GPU haute-densité sont généralement câblés aveccâblage principal MTP/MPO haute-densitéentre la feuille et la colonne vertébrale, et la vitesse de liaison est définie par l'optique que vous choisissez, de plus en plusModules 400G et 800G tels que QSFP-DD. Plus ces liaisons sont rapides et sursouscrites, plus les paramètres de tampon et de congestion du commutateur doivent effectuer du travail lors d'une rafale synchronisée.

Comment les tampons de commutation affectent la latence, la perte de paquets et le débit
Les tampons façonnent les performances de trois manières connectées.
Trop peu de tampon entraîne une perte de paquets
Lorsqu'une rafale dépasse la mémoire tampon disponible, la queue du commutateur-abandonne les paquets. Dans un trafic basé sur TCP-qui déclenche des retransmissions et réduit le débit effectif. Dans le trafic de stockage et d’IA, cela peut gonfler le temps d’exécution des tâches et rendre les performances erratiques. Le piège est que la bande passante moyenne semble souvent correcte : lors d'un événement d'incast, plusieurs expéditeurs atteignent la même file d'attente de sortie presque au même instant, et la file d'attente déborde même si le graphique minute-par-minute semble calme.
Trop de trafic en file d'attente augmente la latence
Un tampon important ne constitue pas une marge de sécurité gratuite. Si les paquets se trouvent dans une longue file d'attente, ils accumulent du retard dans la file d'attente et le réseau glisse dans une file d'attente longue.tamponnage, où les baisses sont rares mais la latence est élevée et imprévisible. Ce mode de défaillance étaitdocumenté en détail par Gettys et Nichols dans ACM Queue, et c'est exactement le mauvais résultat pour les backends GPU-sensibles à la latence, où une faible latence prévisible compte plus que cacher la congestion dans la mémoire.
Une mauvaise allocation des tampons crée une injustice
La taille totale de la mémoire tampon cache la question la plus importante : comment le commutateur divise cette mémoire entre les ports, les files d'attente et les classes de trafic. Un commutateur peut transporter une grande quantité de mémoire tampon globale et néanmoins se comporter mal si un port ou une classe draine le pool partagé et affame le reste. Dans les environnements d’IA et de stockage, cette injustice ralentit l’ensemble du travail, car le flux le plus lent détermine l’heure de fin.

Tampon partagé vs tampon dédié vs tampon profond
Lorsque vous comparez les commutateurs de centres de données, l'architecture de la mémoire tampon compte plus que la capacité globale.
Tampon partagé
Un tampon partagé est un pool de mémoire commun dans lequel les ports et les files d'attente puisent à la demande. Étant donné que la mémoire inutilisée dans une zone calme peut être prêtée partout où une congestion apparaît, les tampons partagés absorbent bien les rafales dans les centres de données, où un port inactif un instant peut prendre une rafale le lendemain. Leur faiblesse est qu’ils s’appuient sur une bonne logique d’allocation pour empêcher une file d’attente chaude de manger le pool.
Tampon dédié
Un tampon dédié est réservé à un port, une file d'attente ou une classe de trafic spécifique. Cela améliore l'isolation, car une classe encombrée est moins capable de tout consommer, mais une sur-réservation gaspille de la capacité, car la mémoire verrouillée sur un port silencieux n'est pas disponible là où la rafale atterrit réellement.
Tampon profond
Un commutateur de tampon-profond permet une mise en mémoire tampon beaucoup plus importante, conçue pour les rafales importantes, les liaisons longue-distance ou les inadéquations de vitesse persistantes. Les tampons profonds gagnent leur place dans certains rôles de WAN, de routage et d'agrégation, souvent associés àfibre monomode-pour des liaisons-longues distances, mais ils ne constituent souvent pas la bonne valeur par défaut pour un backend GPU à faible-latence, où ils ont tendance à masquer la congestion et à ajouter du retard. Pour les structures sensibles à la latence-, le transfert prévisible dépasse généralement la profondeur brute de la mémoire tampon.
Comparaison rapide
| Type de tampon | Force | Risque principal | Meilleur ajustement |
|---|---|---|---|
| Commun | Absorption flexible des éclats | Nécessite une logique d’allocation solide | Trafic dynamique du centre de données |
| Dédié | Fort isolement entre les classes | Capacité gaspillée en cas de sur-réservation | Classes de trafic qui doivent être protégées |
| Profond | Absorbe de très grosses rafales | Latence de file d'attente plus élevée | WAN, routage, agrégation spéciale |
Tampons de commutation et contrôle de congestion RoCEv2 : ECN et PFC
La plupart des structures Ethernet IA exécutent RoCEv2 pour un RDMA à faible-latence et à haut-débit. Dans ces réseaux, les tampons et le contrôle de congestion sont indissociables : les seuils de tampon que vous définissez déterminent quand ECN se marque et quand PFC se déclenche.
L'ECN devrait signaler la congestion plus tôt
Notification explicite de congestion (ECN), définie dans la RFC 3168, permet à un commutateur de marquer les paquets à mesure que la congestion augmente au lieu de les supprimer. Le récepteur renvoie ce signal afin que l'expéditeur ralentisse avant que la file d'attente ne déborde. Dans les structures RoCEv2, le seuil de marquage est une décision de réglage aux conséquences réelles : marquer trop tard et la file d'attente est déjà longue lorsque les sources réagissent ; marquez trop tôt et vous limitez le débit que vous n'aviez pas besoin d'abandonner.
Le PFC devrait être le filet de sécurité, pas la première réponse
Contrôle de flux (PFC) basé sur la priorité-, standardisé selon la norme IEEE 802.1Qbb, suspend le trafic sur une classe prioritaire pour éviter toute perte dans les files d'attente sans perte. C’est essentiel, mais c’est un instrument brutal. Appuyez-vous dessus trop souvent et cela propage la congestion en amont, créant des tempêtes de pause et des blocages de tête de ligne-- qui punissent des flux qui n'en ont jamais été la cause. Le modèle plus sain est bien établi : dansLe travail RDMA-à grande échelle de Microsoft qui a introduit DCQCN, le contrôle de congestion basé sur le débit-piloté par ECN gère les événements de routine tandis que le PFC reste en réserve comme dernière ligne de défense. Ce document donne également des conseils concrets sur le réglage des seuils de tampon de commutation.
Les seuils de tampon doivent correspondre à la charge de travail
Les seuils copiés à partir d’une conception de référence survivent rarement au contact avec le trafic réel. La formation d'IA, l'inférence, le stockage et les charges de travail cloud mixtes éclatent différemment, et les bons paramètres ECN/PFC dépendent de la rafale, de la vitesse de la liaison, du taux de surabonnement, de la conception de la file d'attente et de la mesure dans laquelle la charge de travail tolère la latence par rapport à la perte. Considérez les valeurs par défaut du fournisseur comme point de départ, puis adaptez-vous à votre propre trafic.
Diagnostic des problèmes liés au tampon- : symptômes, causes et mesures
Lorsque les performances des applications diminuent mais que les tableaux de bord semblent verts, la pression de la mémoire tampon est une cause cachée courante. Une première étape utile consiste à lire la télémétrie par ordre de cause et d’effet plutôt que de s’intéresser à l’utilisation des liaisons. Le tableau ci-dessous mappe les symptômes aux problèmes de tampon probables et à la métrique qui les confirme.
| Symptôme | Cause probable liée au tampon- | Métrique à vérifier en premier |
|---|---|---|
| Retransmissions avec une utilisation moyenne normale | La queue de microrafale tombe sur une file d'attente de sortie | Pics d'occupation des files d'attente, baisses de queue et de sortie |
| Pics de latence avec peu ou pas de chutes | File d'attente trop longue / bufferbloat | Centiles de latence (p99), profondeur de la file d'attente |
| Le débit s'effondre sous plusieurs-vers-un | Incast débordant d'une piscine partagée | Suppressions lors de l'incast, par-occupation de la file d'attente |
| Décrochages périodiques à travers le cluster | Le PFC interrompt la propagation des tempêtes en amont | Images de pause PFC et durée de la pause |
| Un flux lent entraîne tout le travail | Partage injuste de tampon entre les classes | Par-occupation prioritaire, compteurs de-files d'attente actives |
| GPU inactifs en attente sur le réseau | Des embouteillages prolongeant les opérations collectives | Taux de marquage ECN, temps d'achèvement du flux, utilisation du GPU |
Lire de haut en bas, la chaîne de diagnostic naturelle est la profondeur de la file d'attente, puis les marques ECN, puis les chutes de queue, puis les images de pause PFC, puis le temps d'achèvement du flux, puis l'utilisation du GPU. Si les métriques du réseau sont propres mais que les tâches sont toujours lentes, le problème se situe probablement en amont de la structure plutôt qu'à l'intérieur du tampon du commutateur.
Tests de laboratoire qui valent la peine d'être effectués et à quoi ressemble une "réussite"
Avant de déployer dans une structure d'IA ou de-hautes performances, testez avec un trafic qui ressemble à votre charge de travail réelle et définissez un critère de réussite pour chaque test plutôt que de simplement surveiller le débit de ligne.
- Plusieurs-à-incast :augmentez le rapport du ventilateur - ; pass signifie aucune chute de queue et une latence p99 limitée à votre surabonnement cible.
- Beaucoup-à-beaucoup, tous-réduisent le style :piloter des rafales synchronisées ; la réussite signifie des délais d’exécution équitables pour tous les flux, sans aucun retard.
- Flux mixtes- et longs- :courir l'éléphant et la souris coulent ensemble ; pass signifie que les flux courts conservent une faible latence tandis que les flux longs remplissent toujours le lien.
- Congestion RoCEv2 avec validation ECN/PFC :confirmer les marques ECN avant la pause du PFC ; passer signifie qu'ECN fait le travail et que PFC se déclenche rarement.
- Surabonnement et reconvergence en cas d’échec :déposez un lien en cours de-rafale ; pass signifie un réacheminement gracieux sans chute ni falaise de latence.
L'objectif n'est pas de prouver le débit de ligne-sur un commutateur inactif. Il s'agit de voir comment le commutateur se comporte lorsque le trafic devient intense, synchronisé et injuste, ce qui est le seul état qui compte en production. Lorsque vous planifiez le câblage et les connecteurs pour prendre en charge ces tests à grande échelle, uncomparaison technique des options MTP et MPOest un compagnon utile.
Changement de-tampon profond ou de latence faible- ?
Il n’existe pas de meilleur interrupteur, seulement le meilleur ajustement pour un tissu donné. Utilisez le tableau ci-dessous pour affiner rapidement votre choix, puis validez-le avec les tests de laboratoire ci-dessus.
| Si votre tissu est | Prioriser | Appui du tampon |
|---|---|---|
| Backend GPU IA (rafales synchronisées, latence-critique) | Faible latence, télémétrie puissante, réglage ECN/PFC | Faible-latence, partagée avec une bonne allocation |
| Stockage / sans perte | Équité, temps de réalisation des tâches, latence sous charge | Modéré, avec des classes-bien isolées |
| Cloud mixte (vitesses de liaison variées) | Allocation flexible, isolation des classes, visibilité | Partagé et flexible |
| Agrégation WAN/longue-distance | Absorbe les grosses rafales et les différences de vitesse | Tampon profond (toujours vérifié par rapport aux cibles de latence) |
Les structures cloud mixtes constituent le cas le plus délicat, car elles combinent souvent des liaisons montantes-plus rapides avec des liaisons d'accès plus lentes. Si vous cartographiez ces vitesses d'accès, un guide pourInterfaces 10GBASE-T et SFP+ 10GbEpeut vous aider à planifier où les transitions de vitesse, et donc la pression tampon, atterriront.
FAQ
Q : Les tampons de commutation plus grands sont-ils toujours meilleurs ?
R : Non. Des tampons plus grands réduisent les pertes de paquets pendant les rafales, mais ils permettent également aux paquets de rester plus longtemps en file d'attente, ce qui augmente la latence et peut provoquer une saturation de la mémoire tampon. Pour les structures d'IA et de stockage sensibles à la latence-, un tampon modéré et bien-géré surpasse généralement un tampon très profond. Le meilleur tampon est celui dimensionné et alloué pour absorber vos rafales réelles sans ajouter de retard évitable.
Q : Quelle est la différence entre un tampon partagé et un tampon dédié ?
R : Un tampon partagé est un pool commun dans lequel n'importe quel port ou file d'attente peut puiser quand il en a besoin, ce qui le rend efficace pour absorber les rafales imprévisibles. Un tampon dédié est réservé à un port, une file d'attente ou une classe spécifique, ce qui améliore l'isolation mais peut gaspiller de la mémoire si l'espace réservé reste inactif. De nombreux commutateurs de centres de données utilisent un hybride des deux.
Q : Pourquoi les microrafales entraînent-elles une perte de paquets même lorsque l'utilisation semble faible ?
R : La surveillance standard fait la moyenne du trafic sur quelques secondes ou minutes, ce qui atténue les pics. Une microrafale peut atteindre le débit de ligne pendant seulement quelques millisecondes, remplissant une file d'attente de sortie et forçant des chutes de queue, tandis que le graphique moyen montre toujours que le lien est légèrement chargé. Vous avez besoin d'une file d'attente à l'échelle de la milliseconde- et d'une télémétrie supprimée pour voir ces événements.
Q : Les centres de données d'IA ont-ils besoin de-commutateurs de tampon approfondis ?
R : Pas généralement sur le backend GPU. Les tampons profonds ont tendance à masquer la congestion et à ajouter de la latence, ce qui va à l'encontre du transfert prévisible et à faible-latence dont a besoin la formation distribuée. Les tampons profonds sont plus appropriés pour les rôles WAN, de routage ou d'agrégation. Pour les clusters d'IA, la télémétrie, une allocation équitable et un ECN/PFC bien réglé comptent généralement plus que la profondeur brute de la mémoire tampon.
Q : Comment les tampons de commutation affectent-ils les performances de RoCEv2 ?
R : Dans RoCEv2, les seuils de tampon décident quand ECN marque les paquets et quand PFC suspend une priorité. Bien configuré, ECN ralentit les expéditeurs plus tôt et maintient les files d'attente peu profondes ; mal réglé, les files d'attente débordent ou le PFC se déclenche trop souvent et propage la congestion. L'ajustement des seuils de tampon en fonction de la charge de travail est l'une des étapes les plus importantes pour obtenir un bon comportement RoCEv2.
Q : Quelles métriques de tampon dois-je surveiller en production ?
R : Surveillez l'occupation de la file d'attente, les baisses de fin et de sortie, le taux de marquage ECN ainsi que les trames et la durée de pause PFC, puis connectez-les aux signaux d'application tels que le temps d'achèvement du flux et, pour les structures d'IA, l'utilisation du GPU. Si les performances de l'application sont médiocres alors que l'utilisation moyenne des liaisons semble normale, une pression de tampon cachée et des microrafales sont probablement suspectes.
Points clés à retenir
Les tampons de commutateur jouent un rôle décisif dans les performances des réseaux d’IA et des centres de données, mais la capacité à elle seule ne vous indique pas si un commutateur est le bon choix. Une bonne conception de tampon absorbe des rafales réalistes, limite la perte de paquets, maintient la latence prévisible, prend en charge la signalisation ECN et PFC et expose suffisamment de télémétrie pour le dépannage. Pour les centres de données IA, évaluez l'architecture de la mémoire tampon ainsi que le contrôle de la congestion, l'équilibrage de charge, la gestion des files d'attente et le comportement de votre charge de travail réelle, et non comme un chiffre isolé sur une fiche technique.
Avant de vous engager, testez le commutateur dans des conditions d'incast, de microrafale et de congestion, et observez comment il partage la mémoire lorsque le trafic devient injuste. Le meilleur tampon n’est pas le plus grand. C'est l'architecture qui maintient vos applications rapides, équitables et prévisibles dans un trafic réel.