Réseaux 100 Gbit dans les centres de données : technologie, composants optiques et planification

Bien comprendre le 100 GbE

Le terme « 100GbE » désigne avant tout un débit nominal de 100 Gbit/s au niveau MAC pour un port Ethernet. Cela n'implique ni un type de connecteur spécifique, ni un type de fibre défini, ni une répartition des voies, ni une distance de transmission particulière. La feuille de route Ethernet classe toujours le 100GbE aux côtés des débits de 25, 50, 200, 400 et supérieurs ; le choix du niveau approprié dépend du profil de trafic, de la densité des ports et de l'objectif d'extension.

La capacité nominale d'un port ne doit pas être confondue avec le débit d'une application. La surcharge liée aux protocoles Ethernet, IP et de transport réduit la charge utile disponible ; par ailleurs, le processeur, les pilotes de carte réseau, la connexion PCIe, les performances de la mémoire ou du stockage, ainsi que le terminal distant, peuvent constituer des facteurs limitants. De plus, les flux de données concurrents se partagent la capacité d’un port. 100 Gbit/s Il s'agit donc d'une propriété de l'interface et non d'une garantie quant au transfert de données d'une application donnée.

Un serveur équipé d'une carte réseau 100 GbE peut, par exemple, rester nettement en deçà du débit du port lors de la copie de grands volumes de données si la source ou la destination ne lit ou n'écrit pas assez rapidement. À l’inverse, une liaison montante de 100 G augmente la capacité globale d’un pod de serveurs sans pour autant accélérer automatiquement chaque hôte individuel à 100 Gbit/s. La planification doit donc prendre en compte conjointement les systèmes finaux, les chemins de données et les pics de charge.

Le 100 GbE n'est pas systématiquement trop petit ou trop grand. Le 25 GbE peut suffire pour les connexions de serveurs courantes, tandis que le 50 GbE constitue une étape intermédiaire pour une densité d'hôtes plus élevée. Selon la conception, le 100 GbE convient aux serveurs, au stockage, aux liaisons montantes « leaf » ou aux niveaux « spine » de petite taille. Pour les charges de travail fortement agrégées, le 200 ou le 400 GbE peuvent fournir la densité de ports requise. Les travaux publiés par l'IEEE couvrent plusieurs débits Ethernet et variantes PHY ; toutefois, le débit à lui seul ne suffit pas à décrire une architecture réseau complète.

Lanes, PHY et correction d'erreurs

Pour prendre des décisions éclairées, il convient d'examiner séparément trois niveaux : les voies électriques au sein de l'appareil, le PHY optique sur la ligne et l'infrastructure passive composée de câbles, de fibres et de panneaux de brassage. Un port 100 GbE peut utiliser plusieurs voies en interne ou au niveau de l'interface électrique de l'hôte. Les approches plus anciennes, qui restent courantes, regroupent souvent quatre voies de 25 Gbit/s ; les interfaces plus récentes spécifient des voies électriques pouvant atteindre 100 Gbit/s.

Le nombre de voies ne permet pas à lui seul de déterminer comment un module optique transmet les données. Une couche physique (PHY) peut utiliser des chemins optiques parallèles ou transporter 100 Gbit/s sur une seule longueur d'onde. Il en résulte des exigences différentes en matière de type de fibre, de connecteurs et de chemins de raccordement. Un débit de données adapté et un format identique ne suffisent donc pas à garantir la compatibilité : le commutateur, la carte réseau et l'émetteur-récepteur doivent prendre en charge la variante concrète du PHY.

Le Correction d'erreurs La correction d'erreurs sans voie de retour (FEC) est une caractéristique qui doit être vérifiée lors de la sélection et de la mise en service d'une liaison 100G spécifique, à l'aide de la documentation relative à la couche physique (PHY) et à la plateforme. La vitesse du port ou le format du module ne permettent pas à eux seuls de déterminer un paramétrage FEC universel. Ce sont les spécifications et les modes de fonctionnement pris en charge par les équipements et les émetteurs-récepteurs aux deux extrémités qui sont déterminants.

Le format QSFP28 décrit principalement la forme physique et la famille d'interfaces électriques, mais ne garantit pas l'interchangeabilité universelle des modules optiques ou des câbles de dérivation. L'utilisation d'un câble de dérivation nécessite que le mode de port, la répartition des voies, le profil de l'extrémité opposée et le câblage soient adaptés à cet usage. Avant tout achat et toute migration, il est donc impératif de vérifier les homologations des fabricants respectifs de commutateurs et de cartes réseau pour le module, le câble, le PHY, le FEC et le mode de câble de dérivation. La norme IEEE 802.3ck traite des interfaces électriques jusqu’à 100 Gbit/s par voie, mais ne remplace en aucun cas une telle vérification de la plate-forme.

100G dans le réseau Leaf-Spine

Dans un réseau routé Réseau « leaf-spine » Les serveurs, les systèmes de stockage et les autres terminaux se connectent dans un premier temps à des commutateurs « leaf ». Chaque « leaf » est relié à des commutateurs « spine » via plusieurs liaisons de couche 3 équivalentes. Le trafic entre deux serveurs situés dans des zones « leaf » différentes transite ainsi du « leaf » source vers le « leaf » de destination en passant par un « spine », sans avoir à traverser un réseau de couche 2 central.

Cette structure est conçue pour le trafic est-ouest, c'est-à-dire la communication au sein du centre de données entre les applications, les bases de données, le stockage et les nœuds de calcul. L'underlay de couche 3 fournit plusieurs chemins équivalents. L'ECMP (Equal-Cost Multi-Path) permet de répartir les flux de données sur ces chemins à l'aide d'un algorithme de hachage. Cela permet d'exploiter la bande passante agrégée ; toutefois, la question de savoir s'il reste une capacité suffisante après une panne de liaison montante dépend du dimensionnement concret du réseau.

Le rôle du 100 GbE dépend ici du profil des ports. Un serveur de calcul ou de stockage à haute densité peut nécessiter une connexion 100 GbE au niveau de l’hôte ; dans un autre pod, des ports 100 G agrègent plusieurs serveurs 25 G en tant que liaisons montantes de niveau « leaf ». De même, des liaisons 100G peuvent constituer la couche « spine » d’une architecture de plus petite envergure. Ce qui est déterminant, c’est le rapport entre la capacité des hôtes connectés et la capacité des liaisons montantes, c’est-à-dire la planification délibérée Surréservation.

Une capacité globale élevée n'accélère pas indéfiniment un flux de données donné. Dans de nombreuses implémentations, l'ECMP attribue un flux à un chemin spécifique ; la vitesse de ce flux reste limitée par la bande passante de ce chemin et par les systèmes d'extrémité. Des valeurs de hachage réparties de manière inégale ou un petit nombre de flux très volumineux peuvent donc entraîner des goulots d'étranglement, même si d'autres liaisons disposent de capacité disponible. La planification de la capacité doit donc tenir compte à la fois de la somme de tous les flux, des flux individuels dominants et des cas de défaillance.

Comparer les composants optiques et les câbles 100G

Le choix d'une connexion 100G ne commence pas par le boîtier QSFP28, mais par le chemin de transmission dans son ensemble. Un émetteur-récepteur définit une couche physique (PHY) spécifique, avec des exigences en matière de fibre, de chemins optiques et de portée. Un même format peut donc accueillir différentes technologies qui ne sont pas nécessairement compatibles entre elles, ni sur le plan optique ni sur le plan électrique.

Pour les connexions parallèles de courte durée, utilisez 100GBASE-SR4 Fibre multimode et connecteurs MPO-12/MTP-12 en général. Les quatre voies optiques d'émission et de réception font de la polarité correcte un élément à prendre en compte lors de la conception. La spécification de l'OM3 s'étend jusqu'à 70 m, celle de l'OM4 jusqu'à 100 m ; les liaisons LC duplex existantes ne peuvent donc pas être utilisées comme liaisons SR4 sans une infrastructure adaptée.

Les modules Juniper documentés pour les modèles DR1, FR1 et LR1 utilisent une fibre monomode et un connecteur LC duplex ; les portées indiquées sont respectivement de 500 m, 2 km et 10 km. Le connecteur du module constitue néanmoins une caractéristique spécifique du produit et doit être conforme à la documentation du fabricant. Le PHY, le support optique, le nombre de fibres et le raccordement du module doivent être vérifiés séparément. Les surfaces de contact, les raccords, les épissures et les réserves doivent également être pris en compte dans le bilan d'atténuation.

La désignation « LR » nécessite une attention particulière : LR1 et LR4 Bien qu'ils atteignent chacun jusqu'à 10 km sur une fibre monomode, il s'agit toutefois de protocoles physiques (PHY) différents. Le LR1 fonctionne avec une seule longueur d'onde de 100 Gbit/s, tandis que le LR4 utilise un autre procédé à longueurs d'onde multiples. Une même infrastructure à deux fibres SMF et des variantes de produits compatibles sur le plan mécanique ne garantissent donc pas l’interopérabilité optique. Le type de connecteur utilisé reste également spécifique à chaque produit ; la variante Cisco CPAK 100GBASE-LR4 documentée utilise par exemple un connecteur SC duplex.

Les DAC et les AOC constituent un choix à part pour les courtes distances. Il n'existe pas de règle générale concernant la portée des câbles en cuivre passifs ou actifs et des câbles optiques actifs qui puisse être déduite de la norme „ 100G “. Avant l'achat, il convient de vérifier la matrice de compatibilité des deux côtés du port, ainsi que la longueur exacte du câble et le rayon de courbure prévu.

Planifier les liaisons montantes avec calcul de capacité

L'exemple de calcul illustratif suivant décrit expressément une architecture à connexion unique : 48 hôtes disposent chacun d'une connexion 25 GbE. Par groupes de 24, les hôtes sont connectés à exactement l’un des deux « leaves ». Il en résulte une capacité de connexion des hôtes de 600 Gbit/s par « leaf » et de 1 200 Gbit/s pour l’ensemble du « pod ». Il s’agit d’un calcul de capacité et non d’un débit d’application mesuré.

Chaque « Leaf » dispose de deux liaisons montantes de 100 Gbit/s chacune. La capacité de liaison montante s'élève donc à 200 Gbit/s par « Leaf » et à 400 Gbit/s pour les deux « Leafs ». Pour chaque Leaf, 600 divisé par 200 donne un taux de sursouscription supposé de 3:1. Ce chiffre correspond à la capacité de liaison installée ; le débit utilisable dépend en outre des flux de données, des terminaux distants et des protocoles.

En cas de défaillance d'une seule liaison montante, le leaf concerné dispose encore de 100 Gbit/s pour ses connexions hôtes de 600 Gbit/s. Le rapport théorique y passe alors à 6:1. Dans ce modèle de connexion aux hôtes délibérément non redondant, la défaillance d’un leaf entier rend ses 24 hôtes inaccessibles. Deux leafs ne suffisent donc pas à eux seuls à garantir une connexion à toute épreuve pour chaque serveur.

Une architecture à double connexion doit faire l'objet d'un calcul distinct. Avec 48 hôtes disposant chacun de deux ports 25G, la capacité physique connectée s'élève à 2 400 Gbit/s. Le fait que les deux ports acheminent simultanément du trafic utile ou que l'un d'entre eux serve de réserve modifie les hypothèses de charge. Il convient donc de documenter le nombre de ports, le modèle d’exploitation actif, la capacité par nœud « leaf » et la capacité résiduelle souhaitée pour chaque scénario de panne envisagé.

La répartition du trafic fait également partie de la planification. L'ECMP répartit les flux sur des chemins routés équivalents ; l'agrégation de liaisons regroupe des liaisons physiques en une seule liaison logique. Ces deux méthodes doivent être évaluées séparément. Dans le cas d'une répartition basée sur le hachage, un flux individuel ne se voit pas automatiquement attribuer la totalité de la bande passante totale. Prévoyez les flux de données dominants, les fenêtres de sauvegarde et les réserves en plus du rapport théorique.

Migration de MPO vers SMF duplex

Le passage d'un environnement SR4 à DR1 ou FR1 est un projet d'infrastructure, et non une amélioration automatique de la qualité. SR4 utilise des chemins multimodes parallèles avec MPO-12/MTP-12. DR1 et FR1, en revanche, utilisent des fibres monomodes duplex ; le type de connecteur du module est une caractéristique du produit. Les modules DR1 et FR1 répertoriés dans la fiche technique de Juniper sont équipés de connecteurs LC duplex. Les tracés existants, les panneaux de brassage et les réserves disponibles déterminent donc s’il est plus judicieux de procéder à une migration parallèle ou à une transition progressive.

Dans un premier temps, on détermine les besoins réels en matière de portée : le DR1 est prévu pour 500 m, le FR1 pour 2 km. Si tous les chemins se situent à l'intérieur d'un même espace, un câblage SR4 existant peut rester adapté. Si les liaisons dépassent régulièrement les limites du SR4 ou s'il s'agit de relier des parties de bâtiment, le Duplex-SMF, associé à la couche physique (PHY) adaptée, offre un autre cadre de conception.

• Répertorier les chemins de fibres existants, la classe de fibres, les panneaux de brassage et la polarité MPO pour chaque connexion.
• Déterminer la portée requise et le module PHY adapté ; ne pas choisir DR1 et FR1 uniquement en fonction du type de connecteur.
• Planifier les chemins de fibres SMF duplex, y compris les raccordements de modules spécifiques au produit, la réserve d'atténuation, les surfaces de connexion et les chemins de redondance.
• Évaluer les vitesses de port futures, les emplacements disponibles et la date de migration pour chaque pod.
• Vérifier que le commutateur, la carte réseau, l'émetteur-récepteur et, le cas échéant, les options de dérivation constituent une combinaison expressément autorisée.

Le Polarité MPO Cela devrait faire l'objet d'un point de contrôle distinct tant que des parties du câblage SR4 parallèle sont conservées. Un adaptateur mécaniquement compatible ne répond pas automatiquement aux questions relatives à l'affectation des signaux, au nombre de fibres ou au mode de transmission autorisé. Il est donc recommandé, lors de la planification, de séparer et d'identifier clairement les chemins de raccordement : SR4 via MMF d'une part, DR1 ou FR1 via SMF d'autre part.

Le Duplex-SMF peut simplifier les évolutions futures, mais n’est pas „ meilleur “ de manière générale. Les coûts de recâblage, les chemins de câblage disponibles, les processus opérationnels et l’évolution prévue du nombre de ports sont tout aussi importants que la portée. La classification antérieure du PON à 100 Gbit/s concerne une approche de réseau d’accès et ne constitue pas un modèle de compatibilité ou d’architecture pour l’Ethernet dans le centre de données ; elle ne doit donc pas être confondue avec les PHY 100GbE.Aperçu du réseau PON à 100 Gbit/s

Avant tout achat, il est indispensable de vérifier la compatibilité de la combinaison spécifique composée du commutateur, de la carte réseau et des émetteurs-récepteurs des deux côtés. Cette vérification porte sur les couches physiques (PHY) prises en charge, les spécifications FEC, le codage optique, les connecteurs des modules et les câbles autorisés. Ce n’est qu’après cette validation que le câblage passif prévu peut être associé à une liaison active effectivement prise en charge ; un format de boîtier adapté ne suffit pas à lui seul.

Réception, télémétrie et exploitation

La mise en service d'une liaison 100 GbE commence par un état des lieux détaillé, et non par une simple opération de connexion. Pour chaque connexion, documentez l'itinéraire complet de la fibre, y compris le tracé, les panneaux de brassage, les connecteurs et les désignations des ports. Précisez le type de module optique utilisé, la classe de fibre, le type de connecteur, la portée nominale ainsi que le paramétrage FEC choisi de part et d’autre. Les fiches techniques des fabricants classent les modules optiques 100G en fonction de la portée, de la fibre et du procédé de transmission ; ces spécifications techniques doivent correspondre à la distance réelle.

• Vérifier l'état de la liaison et l'affectation des terminaux aux deux extrémités.
• Vérifier la correspondance entre le type d'optique, le numéro de série, le type de fibre et le chemin de raccordement documenté.
• Enregistrer l'état du FEC ainsi que le compteur d'erreurs avant le transfert et après une période d'observation définie.
• Suivre de manière ciblée les chemins de redondance et vérifier les alertes associées.
• Enregistrer les coordonnées du responsable des escalades, les options de remplacement et la validation de compatibilité actuelle pour le port concerné.

La valeur indiquée dans la documentation optique Portée décrit la variante de module concernée et son support de transmission prévu ; il ne s'agit pas d'une validation générale de chaque liaison installée. Pour la réception, il est donc recommandé de réaliser en complément un bilan d'atténuation spécifique au projet. Celui-ci recense les points de raccordement, les connecteurs, les épissures effectivement présents ainsi que les réserves prévues. Des surfaces de connexion propres et une documentation complète du tracé font également partie des exigences de contrôle opérationnel et doivent être expressément stipulées dans le plan de réception.

En exploitation, les systèmes de surveillance doivent enregistrer les « Link Flaps », les erreurs corrigées par FEC et non corrigibles, les erreurs de symboles ou de PCS, les valeurs de diagnostic optique ainsi que la charge par chemin, dans la mesure où la plateforme et les émetteurs-récepteurs fournissent ces valeurs. Une simple valeur de compteur ne constitue pas encore un diagnostic : ce qui est déterminant, ce sont la tendance, la direction et le contexte temporel par rapport aux modifications apportées au patch, à l'optique ou à la configuration. En cas d'anomalies, l'équipe d'exploitation vérifie d'abord si un seul chemin, un seul appareil ou plusieurs connexions de même type sont concernés.

Pour garantir la redondance, il ne suffit pas de disposer de deux liaisons logiques. Vérifiez si elles passent effectivement par des ports, des fibres et – le cas échéant – des chemins de raccordement distincts, et si les règles d’alerte signalent une perte en temps utile. Les exigences en matière de résilience physique et d’exploitation du centre de données doivent être intégrées dans la planification globale ; l’article explique cela plus en détail. Critères relatifs à l'emplacement, à la sécurité et à l'évolutivité d'un centre de données conditions-cadres plus larges.

Identifier systématiquement les dysfonctionnements du réseau 100G

En cas de liaison 100G défaillante ou instable, il est plus efficace de suivre un ordre de vérification bien défini plutôt que de remplacer immédiatement plusieurs composants. Vérifiez d'abord, aux deux extrémités, la combinaison validée composée du commutateur ou de la carte réseau, de l'émetteur-récepteur, du câble et du PHY, ainsi que le mode FEC attendu. Les interfaces électriques à 100 Gbit/s par voie sont normalisées, mais cela n’implique pas pour autant la prise en charge automatique de chaque variante de module optique ou de répartiteur par une plateforme donnée.

Vient ensuite la partie passive : type de fibre, face de raccordement, cheminement du patch, étiquetage et, dans le cas d'une optique parallèle, en particulier la Polarité MPO . Une polarité inversée peut empêcher l'établissement d'une liaison, tandis qu'une confusion entre les normes OM3 et OM4 affecte la longueur de câblage admissible. La norme SR4 nécessite des chemins optiques multimodes et parallèles ; en revanche, les normes DR1, FR1 et LR1 fonctionnent via des liaisons duplex monomodes. Une cassette d’aspect similaire ou un connecteur compatible ne garantit donc pas que le mode de transmission soit compatible.

En cas de taux d'erreurs élevés, comparez les compteurs d'erreurs des deux côtés et attribuez leur apparition à des modifications. Si les valeurs augmentent sur une seule liaison, les éléments à vérifier en priorité sont la fibre optique, les surfaces de connexion, le câble de raccordement et le port. Si des erreurs surviennent sur plusieurs liaisons du même type, il convient d’examiner les facteurs communs tels que les paramètres FEC, le codage optique ou un profil de plateforme. Les spécifications documentées des émetteurs-récepteurs permettent de vérifier la cohérence entre la portée et les exigences en matière de fibre optique par rapport à la configuration.

Ce n'est qu'une fois la liaison physique stabilisée que tu dois examiner les débits de données d'application étonnamment faibles. Un flux individuel peut être limité par la vitesse de son chemin, la répartition du hachage ECMP ou le terminal distant, même si la structure agrégée dispose d'une capacité disponible. De plus, la connexion PCIe, les pilotes NIC, le processeur, la taille des paquets, la surcharge de protocole et les performances de stockage limitent le débit de données utiles. Le port 100 GbE constitue donc un goulot d’étranglement potentiel, mais pas nécessairement le goulot d’étranglement déterminant.

Évaluer le RoCE et la décision d'extension

Dans le cas du RDMA sur Ethernet convergé, la vitesse du port ne suffit pas comme critère de sélection. La source NVIDIA utilisée ici décrit expressément Cumulus Linux 4.0 et renvoie elle-même à une documentation produit plus récente. Elle sert donc de référence historique, spécifique au produit, pour les mécanismes abordés. Ses commandes et ses limites ne constituent pas un guide d'exploitation général et à jour pour d'autres plateformes.

Cette documentation distingue RoCEv1 au niveau de la couche de sécurité de RoCEv2 au niveau de la couche 3. Pour RoCEv1, elle décrit le contrôle de flux prioritaire (PFC). Pour RoCEv2, elle mentionne la notification explicite de congestion (ECN) pour la signalisation de bout en bout sur les réseaux routés, ainsi que le contrôle de flux pour un Ethernet à faibles pertes. On ne peut toutefois en déduire ni une configuration PFC universelle actuelle, ni la possibilité de transposer les paramètres historiques de Cumulus Linux 4.0 vers d’autres plateformes.

Pour une mise en œuvre concrète, consultez la documentation actuelle relative aux cartes réseau (NIC), aux commutateurs et aux versions logicielles utilisées. Quelle version de RoCE est prévue, quelles classes de trafic sont utilisées et quels mécanismes de contrôle de congestion cette combinaison prend-elle en charge ? Définissez également comment seront surveillés l'encombrement des files d'attente, les pertes de paquets, les marquages ECN et les pauses PFC. N'appliquez pas de seuils historiques ni de recommandations d'activation globales sans validation spécifique à la plateforme.

Le choix entre 25, 50, 100, 200 ou 400 GbE dépend du profil de charge, de la connexion à l'hôte et de la capacité de réserve nécessaire en cas de panne. La feuille de route Ethernet présente les axes de développement technologique, notamment les connexions 100G à 800G et l’Ethernet 1,6 Tbit/s émergent. Elle ne préconise toutefois ni une architecture leaf-spine particulière, ni l’adéquation d’un débit donné à chaque classe de serveurs. Une planification spécifique de la capacité reste donc nécessaire.

Il convient enfin de faire la distinction entre les normes publiées, les projets en cours et les fonctionnalités concrètes disponibles sur les produits. À ce stade, l'IEEE considère le projet P802.3dj comme un projet actif pour les débits de 200, 400 et 800 Gbit/s ainsi que 1,6 Tbit/s. Cela ne constitue toutefois pas une garantie de compatibilité avec le matériel existant. Pour chaque voie d’évolution, vérifiez les ports pris en charge, les modules optiques, les chemins de fibre, la consommation électrique et les coûts d’exploitation en fonction des produits effectivement sélectionnés.