Réseau optimisé par rails

Un réseau optimisé par rails est une topologie de mise en réseau de cluster GPU qui connecte la NIC de même index sur chaque serveur au même commutateur feuille, créant des « rails » dédiés afin que le trafic multi-nœuds GPU-vers-GPU atteigne sa destination en le nombre minimum de sauts. Cela réduit la contention de bande passante et la latence par rapport aux conceptions de haut de rack génériques, et constitue l'architecture de référence du DGX SuperPOD de Nvidia et des grands clusters d'IA des hyperscalers. Les structures de rails optimisés s'exécutent généralement sur InfiniBand ou Ethernet RoCE et se couplent avec l'interconnexion GPU intra-serveur de NVLink, formant une épine dorsale à deux niveaux — NVLink intra-serveur plus structure de rails optimisés inter-serveurs — qui permet à des milliers de GPU d'agir comme un seul cluster d'entraînement. La conception affecte matériellement les exigences de densité de puissance et de câblage d'une installation, alimentant directement la tarification de la colocation pour les espaces prêts pour l'IA.