HBM (память с высокой пропускной способностью)

HBM (High Bandwidth Memory, память с высокой пропускной способностью) — тип DRAM, в котором кристаллы памяти уложены вертикальным стеком. Стек соединён с процессором по очень широкому интерфейсу через кремниевый интерпозер, что даёт гораздо более высокую пропускную способность, чем обычная память DDR или GDDR. HBM находится в миллиметрах от кристалла GPU, и это важно, поскольку ИИ-нагрузки упираются в пропускную способность памяти. Текущие стеки HBM3E выдают более 1 ТБ/с каждый; GPU NVIDIA B200 несёт 192 ГБ HBM3E с совокупной пропускной способностью около 8 ТБ/с, а компоненты поколения HBM4 поднимают пропускную способность на GPU существенно выше 10 ТБ/с. Поставщиков всего три — SK hynix, Samsung и Micron, — и предложение HBM неоднократно оказывалось главным ограничением производства ИИ-ускорителей. Объём HBM на GPU во многом определяет максимальный размер модели, которую одно устройство может обслуживать при инференсе.