NVLink

NVLink เป็น high-speed interconnect ของ NVIDIA ที่เชื่อมต่อ GPU กับกันเอง (และกับ CPU NVIDIA) ด้วยแบนด์วิดท์สูงกว่า PCIe มากนัก ซึ่งอนุญาตให้ GPU หลายตัวรวมหน่วยความจำและทำหน้าที่เป็น accelerator ตัวเดียวขนาดใหญ่ได้ NVLink รุ่นที่ 5 บน GPU Blackwell จ่ายแบนด์วิดท์แบบสองทิศทาง 1.8 TB/s ต่อ GPU — ประมาณ 14 เท่าของ PCIe Gen5 — และ NVLink Switch chips ขยายโครงสร้างนี้ไปยังขนาด rack: GB200 NVL72 เชื่อมต่อ GPU 72 ตัวในแร็กเดียวที่ใช้กำลัง 120-130 kW ระบายความร้อนด้วยของเหลว โดยมีแบนด์วิดท์ NVLink รวม 130 TB/s ภายในโดเมน NVLink GPU จะแบ่งหน่วยความจำอย่างมีความสอดคล้องกัน ซึ่งมีความสำคัญสำหรับการฝึก และการให้บริการโมเดลที่มีพารามิเตอร์ trillion นอกแร็ก คลัสเตอร์จะใช้ InfiniBand หรือ Ethernet NVLink Fusion ที่ประกาศในปี 2025 เปิดโครงสร้างให้กับ CPU และ accelerators ของบุคคลที่สาม