InfiniBand vs RoCE pour les réseaux d'inférence d'IA

ChoisirInfiniBandelorsque votre charge de travail d'inférence vit ou meurt en raison d'une latence de queue prévisible, et choisissezRoCE(RDMA sur Ethernet Convergé) lorsque vous souhaitez des performances de classe RDMA-sur une structure Ethernet, vous pouvez faire évoluer, partager et opérer avec l'équipe que vous avez déjà. Aucune des deux options n’est gagnante partout. Le bon choix dépend de votre modèle d'inférence, de vos objectifs de latence p99 et p999, de l'échelle du GPU, du budget et de l'expertise en réglage Ethernet sans perte-de votre équipe.

Pourquoi le réseau est plus important que ce à quoi les équipes d'inférence s'attendent

Pendant des années, l'inférence a été considérée comme la moitié facile de l'histoire du GPU : un modèle chargé sur un seul nœud, des requêtes traitées indépendamment, très peu de trafic est-ouest. Cette image est désormais dépassée. L'inférence moderne est de plus en plus répandue et plusieurs modèles exercent une réelle pression sur le tissu.

• Parallélisme tensorieldivise une seule couche entre les GPU, de sorte que chaque étape de jeton déclenche toutes les opérations de -réduction ou de-regroupement entre eux. Il s'agit d'un trafic GPU croisé fréquent,-sensible à la latence-que les GPU bloquent en attendant.
• Parallélisme des pipelinesgère les activations d'une étape à l'autre, souvent entre les nœuds, en ajoutant des dépendances entre-nœuds à chaque passage direct.
• Pré-remplissage et décodage désagrégéssépare la phase de pré-remplissage lourde en calcul-de la phase de décodage sensible à la latence-, puis déplace le cache KV entre elles. Ces transferts sont volumineux et en rafale, et tout retard se manifeste directement par un temps de latence plus lent-jusqu'au-premier-jeton et entre-jetons.
• Récupération-génération augmentée (RAG)ajoute le trafic est-ouest aux services vectoriels et de recherche. Elle est généralement moins critique en termes de latence-que les opérations collectives, mais elle charge toujours la structure, en particulier en cas de volume de requêtes élevé.
• Service multi-locatairesplace de nombreux modèles et utilisateurs sur la même structure, où les microrafales et les effets de voisinage bruyants-deviennent le risque dominant.

Lorsque le réseau constitue le goulot d'étranglement, les symptômes sont coûteux : délai d'obtention du-premier-jeton plus long, blocage des GPU pendant l'attente des données, débit qui s'effondre sous les rafales et p95 et p99 instables. Et voici la partie qui fait trébucher les benchmarks : la latence moyenne cache tout cela. L’inférence de production est jugée sur la queue et non sur la moyenne.

InfiniBand vs RoCE : tableau récapitulatif de l'inférence de l'IA

Qu’est-ce qu’InfiniBand ?

InfiniBand est une structure réseau-conçue dès le départ pour une faible latence, un débit élevé et une communication sans perte. Ce n'est pas une version plus rapide d'Ethernet. Il est livré avec ses propres adaptateurs de canal hôte, commutateurs, gestionnaire de sous-réseau, écosystème de câblage et modèle de contrôle de la congestion-. Sa valeur déterminante réside dans son comportement déterministe : de nombreux GPU peuvent communiquer avec des exigences de synchronisation strictes, et la structure continue de se comporter de manière cohérente même lorsque le trafic collectif est important.

Les plates-formes InfiniBand modernes-orientées vers l'IA étendent cette base avec des fonctionnalités directement destinées aux grands clusters GPU. La gamme Quantum InfiniBand de NVIDIA, par exemple, ajouteRoutage adaptatif,-informatique en réseau et contrôle de la congestion basé sur la télémétrie-, qui aident la structure à répartir le trafic intelligemment et à isoler la charge d'un locataire de celle d'un autre. Par déduction, InfiniBand gagne sa place lorsque la charge de travail ne peut pas tolérer la gigue ou lorsque plusieurs nœuds GPU doivent échanger des données rapidement et de manière cohérente.

Les compromis-sont le coût, la concentration de l'écosystème et la spécialisation opérationnelle. Une structure InfiniBand dédiée signifie des commutateurs, des adaptateurs, des câbles ou des modules optiques dédiés, ainsi que des ingénieurs à l'aise avec la gestion de la structure InfiniBand. Pour une organisation qui gère déjà de grands parcs Ethernet, le recours à une structure distincte ajoute à la complexité de l'approvisionnement, à la planification des pièces de rechange et à la surveillance.

Qu'est-ce que RoCE (RDMA sur Ethernet convergé) ?

RoCE apporte le mouvement de données RDMA, de mémoire directe-à-en mémoire, avec une faible surcharge du processeur, vers les réseaux Ethernet. RoCEv2, la version utilisée dans les centres de données modernes, est routable sur les réseaux IP de couche 3 et a été standardisée par leAssociation commerciale InfiniBand. Cette routage est ce qui permet à RoCE de s'intégrer naturellement dans les conceptions Ethernet leaf-spine tout en réutilisant les cartes réseau, les commutateurs, les optiques et les outils de surveillance familiers.

Le problème, c'est que les transports RDMA supposent un réseau quasiment-sans perte. Supprimez un paquet et le transport revient à un comportement de retransmission qui détruit la latence de queue. RoCE a donc besoin que l'Ethernet en dessous se comporte comme une structure sans perte, et cela dépend d'une configuration minutieuse de deux mécanismes en particulier :Contrôle de flux prioritaire (IEEE 802.1Qbb), qui met en pause une seule classe de trafic pour éviter les baisses, etNotification explicite de congestion (ECN), qui signale une congestion précoce afin que les expéditeurs ralentissent avant que les tampons ne débordent. Ajoutez à cela la gestion des files d'attente, l'allocation de tampon et le mappage de la QoS, et il devient clair que le RoCE haute-performance n'est pas un Ethernet ordinaire.

Bien fait, RoCE offre suffisamment de latence et de débit pour une large gamme de services d'inférence de production, et de nombreuses charges de travail d'inférence sont moins étroitement synchronisées que la formation distribuée, ce qui joue en faveur de RoCE. Mal exécuté, il entraîne une perte de paquets, un blocage de-tête de ligne-, une propagation de la congestion et des queues instables, qui se traduisent tous directement par une qualité de service dégradée.

Latence InfiniBand vs RoCE : quel est le meilleur pour l'inférence p99 ?

Les deux structures peuvent fournir une mise en réseau à bande passante élevée-et à faible-latence. Ils diffèrent dans la manière dont ils y arrivent. InfiniBand est déterministe par construction, donc la gigue reste faible même sous une charge mixte. RoCE peut l'égaler pour de nombreuses charges de travail, mais le résultat dépend de la structure Ethernet et de la qualité de son réglage.

Du point de vue du déploiement, le véritable problème en production est rarement la bande passante maximale. Il y a de la gigue dans un trafic mixte, en rafale et multi-locataires-. Une structure RoCE qui réussit un test de débit propre de style iperf- peut toujours manquer sa cible p99 au moment où les microrafales et les conflits entrent en scène. C’est dans cet écart entre une référence de laboratoire et un SLA de production que résident la plupart des surprises.

InfiniBand a tendance à avoir l’avantage lorsque :

• Le service a des objectifs de latence p99 ou p999 stricts.
• L'inférence s'étend sur plusieurs nœuds GPU avec un parallélisme tenseur ou pipeline, ou utilise un préremplissage et un décodage désagrégés.
• L'utilisation du GPU est très sensible au retard du réseau, les blocages sont donc coûteux.
• Le cluster exécute un petit nombre de charges de travail-hautement prioritaires pour lesquelles la prévisibilité l'emporte sur la flexibilité.

Le RoCE est généralement suffisant lorsque :

• Les demandes sont pour la plupart indépendantes ou le couplage est lâche.
• Le travail s'exécute au sein d'un nœud ou d'un petit nombre de nœuds.
• Le débit par lots compte bien plus que la latence résiduelle ultra-faible.
• L'équipe exploite déjà Ethernet et la flexibilité des coûts ou des fournisseurs est une priorité.
• Le cluster prend en charge plusieurs locataires ou des charges de travail mixtes.

Coût RoCE vs InfiniBand : qu'est-ce qui détermine réellement le coût total de possession ?

Le RoCE est souvent considéré comme l’option la moins chère, mais le prix de changement ne représente qu’une petite partie du tableau. Une comparaison réaliste examine l'ensemble de la pile : les adaptateurs réseau ou HCA, les commutateurs, les modules optiques, le DAC, l'AOC et le câblage fibre, la topologie du rack, l'alimentation et le refroidissement, le système d'exploitation réseau, la surveillance et la télémétrie, le temps d'ingénierie, les pièces de rechange, le support du fournisseur et le chemin vers 400G ou 800G.

InfiniBand entraîne généralement un coût initial plus élevé car il nécessite une structure dédiée et des composants spécialisés. Dans les environnements où le comportement déterministe est la priorité absolue, cela peut réduire les efforts de réglage et de dépannage qu'exige une structure Ethernet sans perte. RoCE réduit le coût du matériel lorsqu'un parc Ethernet existant, avec la bonne prise en charge du Data Center Bridging, peut être réutilisé, mais il déplace les efforts vers la conception, la validation, la surveillance et le dépannage de la structure sans perte. Une conception RoCE à faible coût-s'avère rapidement coûteuse si elle entraîne une latence instable et des incendies répétés.

Les coûts et les risques se concentrent au niveau physique à mesure que les vitesses augmentent. A 400G et 800G, l'optique domine à la fois la facture et les modes de panne. La plupart des-ports haut débit atterrissent surQSFP-DD ou facteurs de forme comparables, et correspondant au bonoptique monomode-ou multimodeà votre portée réelle est l'un des moyens les plus simples d'éviter de dépenser trop pour une structure qui n'a pas besoin de modules-longue distance.

En termes simples : RoCE n'est pas l'option la moins chère si votre équipe ne dispose pas d'une expertise-Ethernet sans perte. Les économies réalisées sur le matériel peuvent être rapidement absorbées par les coûts d'ingénierie nécessaires au maintien de la stabilité du tissu.

Évolutivité et opérations

L’évolutivité ne se limite pas au nombre de ports. Cela inclut la facilité avec laquelle la structure est déployée, surveillée, étendue et récupérée en cas de panne.

InfiniBand est performant lorsque le cluster est conçu dès le premier jour comme une structure dédiée à hautes performances. Il offre un comportement cohérent à grande échelle, mais il nécessite des outils spécifiques à InfiniBand-, tels qu'un gestionnaire de sous-réseau et une gestion unifiée de la structure, ainsi qu'un personnel familiarisé avec les concepts d'InfiniBand. Cela en fait un choix naturel pour les clusters d’IA centralisés construits autour des charges de travail GPU.

RoCE s'intègre dans les conceptions de centres de données Ethernet : topologies feuille-spine, routage IP, ECMP et pratiques de surveillance familières. C'est exactement pourquoi il fait appel à une infrastructure GPU de type cloud-et multi-tenant. La discipline qu’elle exige est la cohérence. PFC, ECN, QoS, gestion des tampons et contrôle de la congestion doivent être conçus de manière cohérente sur l'ensemble du chemin, car une petite mauvaise configuration dans un coin de la structure peut propager et dégrader plusieurs charges de travail à la fois. La couche physique doit également évoluer proprement ; haute-densitéCâblage de liaison et de dérivation MPO et MTPpermet de gérer un tissu de feuille-en pleine croissance plutôt que de transformer chaque extension en un casse-tête de câblage.

Le point d'image miroir- mérite d'être souligné : InfiniBand est difficile à justifier lorsque l'inférence reste principalement dans un seul nœud et que la structure est à peine exercée.

Quel réseau pour chaque charge de travail d'inférence

Quand le RoCE est suffisant et quand il devient risqué

RoCE est suffisant pour les requêtes indépendantes ou faiblement couplées, le travail par lots-orienté sur le débit et les clusters-multi-locataires dans lesquels vous pouvez régler l'isolation, en particulier lorsque l'équipe maîtrise parfaitement Data Center Bridging Ethernet. Cela devient risqué de manière spécifique et reconnaissable :

• Tempêtes PFC.Les trames de pause se propagent en amont et gèlent le trafic qui n'a rien à voir avec la congestion d'origine.
• Blocage de la tête de ligne-de-ligne.Un mappage de priorité grossier permet à une classe encombrée de bloquer les autres partageant une file d'attente.
• Désaccordage ECN.Marquez trop tard et vous obtenez des gouttes ; marquez de manière trop agressive et vous limitez le débit inutilement.
• Congestion de microrafales.Les rafales de moins de-secondes dépassent les tampons mais restent invisibles lors de la surveillance des échantillons à une résolution d'une-seconde.
• Configuration incohérente.Des réglages inadaptés entre les feuilles et la colonne vertébrale provoquent une propagation de la congestion plutôt que de rester locale.

Aucune de ces raisons ne constitue une raison pour éviter le RoCE. Ce sont des raisons de concevoir le tissu sans perte de bout en bout de manière cohérente et d'investir dans une télémétrie à granularité fine-sensible aux microrafales-avant de passer à l'échelle.

Quand InfiniBand en vaut la peine et quand vous achetez trop

InfiniBand vaut son prix pour les cibles p99 et p999 strictes, le service multi-nœuds étroitement couplé et les charges de travail-critiques pour lesquelles les pénalités SLA sont élevées, en particulier sur un cluster GPU dédié conçu autour de la structure. Vous achetez probablement trop lorsque l'inférence reste dans un nœud, lorsque le travail est orienté vers le débit-par lots, lorsque vous avez besoin de la même structure pour transporter également le stockage, la gestion et le trafic cloud multi-, ou lorsque vous n'avez tout simplement pas la capacité opérationnelle pour bien exécuter InfiniBand.

Les coûts qui n'apparaissent pas sur le devis du commutateur sont réels : concentration de l'écosystème, frais généraux liés à l'exécution d'une deuxième structure en parallèle avec votre réseau Ethernet et planification séparée pour les pièces de rechange, l'optique et la surveillance.

Comment tester InfiniBand vs RoCE avant de choisir

Ne décidez pas de la réputation du protocole ou d’une fiche technique. Choisissez un référentiel qui ressemble à la production. Une séquence pratique :

• Définissez le SLA dans tails.Définissez p50, p95, p99 et p999 pour le temps-jusqu'au-premier-jeton et la latence entre-jetons, pas seulement une moyenne.
• Rejouez un trafic réaliste.Utilisez des tailles de modèles mixtes et en rafale et une simultanéité multi-locataire plutôt qu'un seul flux propre.
• Charge à la congestion.Poussez la structure jusqu'à ce qu'elle soit véritablement sollicitée, puis mesurez l'utilisation du GPU. Si les GPU bloquent sur le réseau, la structure constitue votre goulot d'étranglement.
• Surveillez les bons compteurs.Suivez les trames de pause, les marques ECN, les abandons de paquets, les retransmissions, les compteurs d'erreurs de port et, à 400G et 800G, les erreurs FEC.
• Validez la couche physique.Matières fibreuses propres et correctement installées ;installation soignée de la fibreempêche les erreurs intermittentes-difficiles à-diagnostiquer auxquelles les liaisons à haut débit-sont sujettes.

Si RoCE maintient son objectif p99 sous une charge réaliste, concurrente et multi-tenants-avec des compteurs stables, il s'agit d'un choix solide et-rentable. S'il ne réussit que des tests propres-à flux unique, vous n'avez pas encore testé l'élément qui décide de votre SLA.

Erreurs courantes à éviter

• En supposant que toute inférence soit un réseau léger.Certaines inférences sont simples et indépendantes ; certains sont distribués,-sensibles à la latence et gourmands en bande passante-. Traiter tout cela comme une chose facile conduit à une infrastructure sous-construite.
• En comparant uniquement la latence moyenne.L'inférence de production dépend de la queue. Évaluez toujours p95, p99 et p999 avec un trafic réaliste.
• Traiter RoCE comme un Ethernet plug-and-play.Le RoCE haute-performance nécessite une conception de structure-délibérée et sans perte, un contrôle de la congestion et une observabilité continue.
• Choisir InfiniBand uniquement parce qu’il est plus rapide.La meilleure option en termes de performances n’est pas toujours la meilleure option commerciale. Si la charge de travail ne nécessite pas de comportement déterministe, RoCE peut offrir une meilleure valeur.
• Ignorer la couche physique.À 400G et 800G, la propreté des câbles, des optiques, des connecteurs et des fibres crée des erreurs intermittentes difficiles à trouver et coûteuses à corriger.

Conclusion

Pour l'inférence de l'IA, InfiniBand et RoCE sont tous deux valides et répondent à des priorités différentes. Choisissez InfiniBand lorsque vous avez besoin du réseau à faible latence-le plus cohérent pour une inférence-en temps réel, sensible aux SLA-ou étroitement couplée. Choisissez RoCE lorsque vous avez besoin d'une structure évolutive, basée sur Ethernet-et rentable-pour l'inférence par lots, de services GPU multi-, de charges de travail RAG et d'une infrastructure flexible.

La décision doit commencer par la charge de travail, l'objectif de latence, l'échelle du cluster, vos capacités opérationnelles et la feuille de route de mise à niveau, et non par le protocole. Si votre cluster doit contenir un p99 strict sous une charge importante, InfiniBand mérite une considération sérieuse. Si votre objectif est de faire évoluer l'inférence de manière économique dans un centre de données Ethernet, RoCE est généralement la voie la plus pratique. Quoi qu'il en soit, évaluez la charge en production- avant de vous engager.