Rack-Skaliertes System

Ein Rack-Skaliertes System ist eine als Ganzes integrierte KI-Computing-Einheit, die als ein einziges Rack entworfen und betrieben wird. GPUs, CPUs, Netzwerk, Stromversorgung und Flüssigkeitskühlung werden darin gemeinsam entworfen, versendet und betrieben, nicht als separate Server. Das bekannteste Beispiel ist Nvidias GB200 NVL72: 72 GPUs, verbunden durch NVLink in einem einzelnen Rack, mit einer Leistungsaufnahme von etwa 120–132 kW, weit über den 5–10 kW eines traditionellen Enterprise-Racks. Da das Rack die Kaufeinheit ist, müssen Rechenzentren direkte Flüssigkeitskühlung zum Chip, Busway-Stromversorgung bei dieser Dichte und Böden bereitstellen, die das Gewicht tragen können; daher werden Anlagen jetzt als "Rack-Scale-ready" vermarktet. Plattformen der nächsten Generation wie Vera Rubin treiben die Dichte noch höher, weshalb neue KI-Gebäude bereits in der Designphase für Flüssigkeitskühlung ausgelegt werden.