Mạng được tối ưu hóa ray

Một mạng được tối ưu hóa ray là cấu trúc tôpô liên kết mạng lưới GPU cluster kết nối các NIC cùng chỉ số trên mọi máy chủ với cùng một công tắc lá, tạo ra các "ray" chuyên dụng để lưu lượng GPU-to-GPU đa nút đến đích trong số bước nhảy tối thiểu có thể. Điều này giảm tranh chấp băng thông và độ trễ so với các thiết kế top-of-rack thông thường, và là kiến trúc tham khảo phía sau DGX SuperPOD của Nvidia và các cụm AI hyperscaler lớn. Các fabric được tối ưu hóa ray thường chạy trên InfiniBand hoặc Ethernet RoCE và kết hợp với NVLink kết nối GPU trong máy chủ, tạo thành xương sống hai tầng—NVLink trong máy chủ cộng với fabric được tối ưu hóa ray giữa các máy chủ—cho phép hàng ngàn GPU hoạt động như một cụm huấn luyện duy nhất. Thiết kế này ảnh hưởng đáng kể đến yêu cầu mật độ năng lượng và dây cáp của một trung tâm dữ liệu, dẫn trực tiếp đến giá colocation cho không gian sẵn sàng cho AI.