เครือข่ายปรับแต่งแบบเรล

เครือข่ายปรับแต่งแบบเรล คือโครงสร้างการเชื่อมต่อเครือข่ายของกลุ่ม GPU ที่เชื่อมต่อ NIC ที่มีดัชนีเดียวกันบนเซิร์ฟเวอร์แต่ละตัวไปยังสวิตช์ leaf เดียวกัน เพื่อสร้าง "rails" เฉพาะที่ทำให้การสื่อสาร GPU-to-GPU แบบหลายโหนดไปถึงปลายทางด้วยจำนวน hop ที่น้อยที่สุด วิธีนี้ช่วยลดการแข่งขันแบนด์วิดท์และ latency เมื่อเทียบกับการออกแบบ top-of-rack ทั่วไป และเป็นสถาปัตยกรรมอ้างอิงเบื้องหลัง Nvidia's DGX SuperPOD และกลุ่ม AI ของ hyperscaler ขนาดใหญ่ โครงสร้างเครือข่ายที่ปรับแต่งแบบเรล โดยทั่วไปทำงานบน InfiniBand หรือ RoCE Ethernet และจับคู่กับ NVLink's intra-server GPU interconnect สร้างเสริมฐาน two-tier — intra-server NVLink บวกกับ inter-server rail-optimized fabric — ที่ช่วยให้ GPU หลายพันตัวทำหน้าที่เป็นกลุ่มฝึกสอนเดียว การออกแบบนี้มีผลกระทบอย่างมีนัยสำคัญต่อความต้องการด้านพลังงานและความหนาแน่นของสายเคเบิลของสถานที่ ซึ่งส่งผลโดยตรงต่อการกำหนดราคา colocation สำหรับพื้นที่พร้อม AI