HBM (High Bandwidth Memory)

HBM (High Bandwidth Memory) ist ein Typ von DRAM, bei dem Speicherchips vertikal gestapelt und über eine sehr breite Schnittstelle durch einen Silizium-Interposer mit dem Prozessor verbunden sind, was deutlich höhere Bandbreite als konventioneller DDR- oder GDDR-Speicher ermöglicht. HBM sitzt Millimeter vom GPU-Die entfernt, was wichtig ist, da KI-Workloads speicherbandbreitenbegrenzt sind. Aktuelle HBM3E-Stapel liefern über 1 TB/s pro Einheit; NVIDIAs B200-GPU trägt 192 GB HBM3E mit etwa 8 TB/s aggregierter Bandbreite, und HBM4-Generationen drücken die Pro-GPU-Bandbreite deutlich über 10 TB/s. Es existieren nur drei Lieferanten – SK hynix, Samsung und Micron – und die HBM-Versorgung war wiederholt der limitierende Engpass bei der Produktion von KI-Beschleunigern. Die HBM-Kapazität pro GPU bestimmt weitgehend die maximale Modellgröße, die pro Gerät bei der Inferenz bereitgestellt werden kann.