Jaringan teroptimasi rail

Jaringan teroptimasi rail adalah topologi jaringan kluster GPU yang menghubungkan NIC dengan indeks yang sama di setiap server ke switch leaf yang sama, menciptakan "rail" khusus sehingga lalu lintas GPU-ke-GPU multi-node mencapai tujuannya dengan hop sesedikit mungkin. Ini mengurangi kontensi bandwidth dan latensi dibandingkan dengan desain top-of-rack generik, dan merupakan arsitektur referensi di balik DGX SuperPOD Nvidia dan kluster AI hyperscaler besar. Fabrik teroptimasi rail biasanya berjalan di atas InfiniBand atau RoCE Ethernet dan berpasangan dengan interkoneksi GPU intra-server NVLink, membentuk backbone dua tingkat — NVLink intra-server plus fabrik teroptimasi rail inter-server — yang memungkinkan ribuan GPU bertindak sebagai satu kluster pelatihan. Desain ini secara material mempengaruhi persyaratan kepadatan daya dan kabel fasilitas, langsung mempengaruhi penetapan harga colocation untuk ruang siap-AI.