InfiniBand

InfiniBand adalah standar jaringan throughput tinggi dan latensi rendah yang digunakan untuk menghubungkan server dan penyimpanan di dalam data center, paling umum untuk komputasi berkinerja tinggi dan cluster pelatihan AI. Tidak seperti Ethernet standar, InfiniBand menawarkan akses memori langsung jarak jauh (RDMA) asli, memungkinkan GPU dan CPU bertukar data tanpa melibatkan CPU host, mengurangi latensi ke mikrodetik satu digit. Switch InfiniBand seri Quantum NVIDIA, yang diwariskan dari akuisisi Mellanox 2020-nya, mendominasi pasar dan merupakan fabric default yang menghubungkan cluster GPU yang terhubung NVLink seperti yang dibangun di sekitar sistem H100, B200, dan GB200, meskipun alternatif berbasis Ethernet—termasuk spesifikasi dari Ultra Ethernet Consortium—mendapatkan daya tarik sebagai opsi lebih murah untuk fabric AI berskala besar. Biaya per-port dan konsumsi daya InfiniBand adalah item baris material dalam anggaran pembangunan pabrik AI.