HBM (mémoire haute bande passante)

La HBM (mémoire haute bande passante) est un type de mémoire DRAM dans laquelle les puces mémoire sont empilées verticalement et connectées au processeur via une interface très large à travers un interposeur en silicium, fournissant une bande passante bien supérieure à celle des mémoires DDR ou GDDR classiques. La HBM se situe à quelques millimètres du circuit GPU, ce qui est important car les charges de travail IA sont limitées par la bande passante mémoire. Les piles HBM3E actuelles fournissent plus de 1 TB/s chacune ; le GPU B200 de NVIDIA embarque 192 GB de HBM3E à environ 8 TB/s de bande passante agrégée, et les composants HBM4 poussent la bande passante par GPU bien au-delà de 10 TB/s. Seuls trois fournisseurs existent — SK hynix, Samsung et Micron — et l'approvisionnement en HBM a été à plusieurs reprises le facteur limitant de la production d'accélérateurs IA. La capacité HBM par GPU détermine largement la taille maximale du modèle pouvant être servie par dispositif en inférence.