NVLink

NVLink ist NVIDIAs proprietäre High-Speed-Verbindung, die GPUs untereinander (und mit NVIDIA-CPUs) mit deutlich höherer Bandbreite als PCIe verbindet und mehreren GPUs erlaubt, Speicher zu teilen und als ein großer Beschleuniger zu fungieren. NVLink der fünften Generation auf Blackwell-GPUs bietet 1,8 TB/s bidirektionale Bandbreite pro GPU – etwa 14-mal PCIe Gen5 – und NVLink-Switch-Chips erweitern dies in Rack-Scale-Strukturen: der GB200 NVL72 verbindet 72 GPUs in einem 120–130 kW flüssiggekühlten Rack mit 130 TB/s aggregierter NVLink-Bandbreite. Innerhalb der NVLink-Domäne teilen GPUs Speicher kohärent, was für Training und Bereitstellung von Billionen-Parameter-Modellen entscheidend ist. Jenseits des Racks fallen Cluster auf InfiniBand oder Ethernet zurück. NVLink Fusion, das 2025 angekündigt wurde, öffnet die Struktur für ausgewählte Drittanbieter-CPUs und -Beschleuniger.