Hệ thống Rack-Scale

Hệ thống Rack-Scale là đơn vị tính toán AI tích hợp sẵn trong đó GPU, CPU, mạng, cung cấp điện và làm mát bằng chất lỏng tạo thành một rack duy nhất. Hệ thống được thiết kế, vận chuyển và vận hành như một rack, không phải là các máy chủ riêng biệt. GB200 NVL72 của NVIDIA là ví dụ nổi tiếng nhất: 72 GPU được liên kết bởi NVLink trong một rack tiêu thụ khoảng 120-132 kW, cao hơn nhiều so với 5-10 kW của một rack doanh nghiệp truyền thống. Vì rack là đơn vị mua hàng, các trung tâm dữ liệu phải cung cấp làm mát chất lỏng trực tiếp trên chip, nguồn điện busway ở mật độ đó và sàn nhà có khả năng chịu tải trọng, vì vậy các cơ sở hiện được tiếp thị là "sẵn sàng cho Rack-Scale". Các nền tảng thế hệ tiếp theo như Vera Rubin đẩy mật độ cao hơn nữa, đó là lý do tại sao các tòa nhà AI mới được thiết kế xung quanh làm mát bằng chất lỏng từ giai đoạn thiết kế.