HBM (高帯域幅メモリ)

HBM(高帯域幅メモリ)はメモリダイが垂直にスタックされ、シリコンインターポーザを経由してプロセッサに超広帯域インターフェースで接続されるDRAMの一種で、従来のDDRやGDDRメモリよりはるかに高い帯域幅を実現します。HBMはGPUダイから数ミリメートルの位置にあり、これが重要なのはAIワークロードはメモリ帯域幅に制限されるからです。現在のHBM3Eスタックは各1TB/s以上の帯域幅を実現し、NVIDIAのB200 GPUは約192 GBのHBM3Eを搭載し、集約帯域幅は約8 TB/sで、HBM4世代部品はGPUあたりの帯域幅を10 TB/sを大きく超える水準にしています。サプライヤーは3社のみです — SK hynix、Samsung、Micron — で、HBM供給はAIアクセラレータの生産においてボトルネックになることが繰り返されています。GPUあたりのHBM容量は、推論時にデバイスあたりで提供可能な最大モデルサイズの大部分を決定します。