ระบบ Rack-Scale

ระบบ rack-scale คือหน่วยประมวลผล AI ที่ผสานรวมไว้ล่วงหน้า โดยรวม GPU CPU เครือข่าย การจ่ายไฟ และการระบายความร้อนแบบเหลว ออกแบบ จัดส่ง และปรับใช้งานร่วมกันในรูปแบบหนึ่ง rack แทนที่จะเป็นเซิร์ฟเวอร์แยกจากกัน GB200 NVL72 ของ NVIDIA เป็นตัวอย่างที่รู้จักกันดีที่สุด: มี 72 GPU เชื่อมต่อด้วย NVLink ในหนึ่ง rack ใช้พลังงานประมาณ 120-132 kW ซึ่งสูงกว่า rack องค์กรแบบดั้งเดิม (5-10 kW) มาก เนื่องจาก rack เป็นหน่วยการซื้อ ดาต้าเซนเตอร์จึงต้องจัดเตรียมการระบายความร้อนแบบเหลวโดยตรงไปยังชิป busway power ที่ความหนาแน่นสูง และพื้นที่ที่สามารถรับน้ำหนักได้ ทำให้ศูนย์ข้อมูลต่างๆเสนอตัวเป็น "rack-scale ready" แพลตฟอร์มยุคต่อไป เช่น Vera Rubin เพิ่มความหนาแน่นให้สูงขึ้นอีก ซึ่งเป็นเหตุผลว่าทำไมอาคารดาต้าเซนเตอร์ AI ใหม่ต่างๆจึงถูกออกแบบรอบการระบายความร้อนแบบเหลวตั้งแต่ขั้นตอนการออกแบบ