HBM (High Bandwidth Memory)

HBM (High Bandwidth Memory) ist ein Typ von DRAM, bei dem Speicherchips vertikal gestapelt und mit dem Prozessor verbunden sind. Die sehr breite Schnittstelle läuft durch einen Silizium-Interposer und ermöglicht deutlich höhere Bandbreite als konventioneller DDR- oder GDDR-Speicher. HBM sitzt Millimeter vom GPU-Die entfernt, was wichtig ist, da KI-Workloads speicherbandbreitenbegrenzt sind. Aktuelle HBM3E-Stapel liefern über 1 TB/s pro Einheit; NVIDIAs B200-GPU trägt 192 GB HBM3E mit etwa 8 TB/s aggregierter Bandbreite, und HBM4-Generationen drücken die Pro-GPU-Bandbreite deutlich über 10 TB/s. Es existieren nur drei Lieferanten – SK hynix, Samsung und Micron – und die HBM-Versorgung war wiederholt der limitierende Engpass bei der Produktion von KI-Beschleunigern. Die HBM-Kapazität pro GPU bestimmt weitgehend die maximale Modellgröße, die pro Gerät bei der Inferenz bereitgestellt werden kann.