InfiniBand

InfiniBand เป็นมาตรฐานเครือข่ายที่มีปริมาณงานสูงและมีเวลาแฝงต่ำ ใช้เพื่อเชื่อมต่อเซิร์ฟเวอร์และที่เก็บข้อมูลภายในดาต้าเซนเตอร์ ส่วนใหญ่สำหรับคลัสเตอร์การคำนวณประสิทธิภาพสูงและการฝึกอบรม AI ไม่เหมือน Ethernet มาตรฐาน InfiniBand นำเสนอการเข้าถึงหน่วยความจำระยะไกลโดยตรง (RDMA) แบบดั้งเดิม ที่ให้ GPU และ CPU สามารถแลกเปลี่ยนข้อมูลได้โดยไม่ต้องเกี่ยวข้องกับ CPU โฮสต์ ลดเวลาแฝงไปเป็นเพียงไมโครวินาทีเดียว สวิตช์ InfiniBand ชุด Quantum ของ NVIDIA ซึ่งสืบทอดมาจากการเข้าซื้อ Mellanox ปี 2020 นั้นครองตลาด และเป็นผ้าใบเริ่มต้นที่เชื่อมต่อคลัสเตอร์ GPU ที่เชื่อมต่อ NVLink เช่นที่สร้างขึ้นรอบระบบ H100, B200 และ GB200 แม้ว่าทางเลือกที่ใช้ Ethernet - รวมถึงข้อกำหนดจากองค์กร Ultra Ethernet Consortium - กำลังได้รับความนิยมเพิ่มขึ้นเป็นตัวเลือกราคาต่ำกว่าสำหรับผ้าใบ AI ขนาดใหญ่ ราคาต่อพอร์ต InfiniBand และการใช้พลังงานนั้นเป็นรายการในบัญชีราคา AI factory ที่มีความสำคัญต่อการปฏิบัติ