HBM (память с высокой пропускной способностью)

HBM (память с высокой пропускной способностью) — тип DRAM, в котором кристаллы памяти расположены вертикально штабелем и соединены с процессором через очень широкий интерфейс посредством кремниевого интерпозера, обеспечивая значительно более высокую пропускную способность, чем обычная DDR или GDDR память. HBM расположена в миллиметрах от кристалла GPU, что критично, так как рабочие нагрузки AI ограничены пропускной способностью памяти. Текущие стеки HBM3E обеспечивают более 1 TB/s каждый; GPU NVIDIA B200 содержит 192 GB HBM3E с совокупной пропускной способностью около 8 TB/s, а компоненты поколения HBM4 обеспечивают пропускную способность на GPU значительно превышающую 10 TB/s. Существует только три поставщика — SK hynix, Samsung и Micron — и предложение HBM неоднократно было ограничивающим фактором при производстве AI ускорителей. Объем памяти HBM на GPU в значительной степени определяет максимальный размер модели, которая может быть обслужена на одном устройстве при инференсе.