Sistem Rack-Skala

Sistem rack-skala adalah unit komputasi AI terintegrasi di mana GPU, CPU, jaringan, pengiriman daya dan pendingin cairan menjadi satu rack. Semua itu dirancang, dikirim dan dioperasikan sebagai satu rack, bukan sebagai server terpisah. GB200 NVL72 NVIDIA adalah contoh yang paling terkenal: 72 GPU yang terhubung oleh NVLink dalam satu rack menarik sekitar 120–132 kW, jauh di atas 5–10 kW dari rack enterprise tradisional. Karena rack adalah unit pembelian, pusat data harus menyediakan pendingin cairan langsung ke chip, daya busway pada kepadatan itu, dan lantai yang mampu menahan beratnya, sehingga fasilitas sekarang dipasarkan sebagai "rack-scale ready." Platform generasi berikutnya seperti Vera Rubin mendorong kepadatan lebih tinggi lagi, itulah mengapa bangunan AI baru ditentukan di sekitar pendingin cairan dari tahap desain.