HBM (Пам'ять з високою пропускною здатністю)

HBM (пам'ять з високою пропускною здатністю) — це тип DRAM, у якому кристали пам'яті складені вертикально та з'єднані з процесором через дуже широкий інтерфейс за допомогою кремнієвого інтерпозера, забезпечуючи набагато вищу пропускну здатність, ніж традиційна пам'ять DDR або GDDR. HBM розташована в кількох міліметрах від GPU-кристала, що важливо, оскільки AI-робочі навантаження обмежені пропускною здатністю пам'яті. Поточні стеки HBM3E забезпечують понад 1 TB/s кожна; GPU NVIDIA B200 має 192 GB HBM3E при загальній пропускній здатності близько 8 TB/s, а компоненти HBM4-покоління забезпечують пропускну здатність на GPU добре понад 10 TB/s. Існує лише три постачальники — SK hynix, Samsung та Micron — і пропозиція HBM неодноразово була вузьким місцем у виробництві AI-прискорювачів. Ємність HBM на GPU значною мірою визначає максимальний розмір моделі, яку можна обслуговувати на пристрої при інференції.