HBM (高带宽内存)

HBM(高带宽内存)是一种DRAM,其中存储芯片垂直堆叠,通过硅中介层上的超宽接口连接到处理器,提供远高于传统DDR或GDDR内存的带宽。HBM距离GPU芯片仅几毫米,这很重要,因为AI工作负载受内存带宽限制。当前HBM3E堆栈每个可提供超过1 TB/s的带宽;英伟达的B200 GPU搭载192 GB HBM3E,总带宽约8 TB/s,而HBM4一代产品的单GPU带宽将远超10 TB/s。仅有三家供应商——SK海力士、三星和美光——HBM供应曾多次成为AI加速器生产的瓶颈。GPU的HBM容量在很大程度上决定了单个设备在推理中可支持的最大模型规模。