InfiniBand

InfiniBand là một tiêu chuẩn mạng thông lượng cao, độ trễ thấp được sử dụng để kết nối các máy chủ và bộ nhớ bên trong các trung tâm dữ liệu, phổ biến nhất cho các cụm máy tính hiệu năng cao và đào tạo AI. Không giống như Ethernet tiêu chuẩn, InfiniBand cung cấp truy cập bộ nhớ từ xa trực tiếp (RDMA) gốc, cho phép GPUs và CPUs trao đổi dữ liệu mà không cần liên quan đến CPU chủ, cắt giảm độ trễ thành vài vi giây. Các công tắc InfiniBand dòng Quantum của NVIDIA, kế thừa từ việc mua lại Mellanox năm 2020, thống trị thị trường và là kết cấu mặc định liên kết các cụm GPU kết nối NVLink như những cụm được xây dựng xung quanh các hệ thống H100, B200 và GB200, mặc dù các lựa chọn dựa trên Ethernet — bao gồm các thông số kỹ thuật từ Ultra Ethernet Consortium — đang trở nên phổ biến như một tùy chọn chi phí thấp hơn cho các kết cấu AI lớn. Chi phí và tiêu thụ năng lượng cho mỗi cổng InfiniBand là những mục chi phí đáng kể trong ngân sách xây dựng nhà máy AI.