HBM (Memori Bandwidth Tinggi)

HBM (high bandwidth memory) adalah jenis DRAM di mana die memori ditumpuk secara vertikal dan terhubung ke prosesor melalui antarmuka yang sangat lebar melalui interposer silikon, memberikan bandwidth jauh lebih tinggi daripada memori DDR atau GDDR konvensional. HBM berada beberapa milimeter dari die GPU, yang penting karena beban kerja AI terbatas pada bandwidth memori. Stack HBM3E saat ini memberikan lebih dari 1 TB/s masing-masing; GPU B200 NVIDIA membawa 192 GB HBM3E pada bandwidth agregat sekitar 8 TB/s, dan bagian generasi HBM4 mendorong bandwidth per-GPU jauh melampaui 10 TB/s. Hanya tiga pemasok yang ada — SK hynix, Samsung, dan Micron — dan pasokan HBM telah berulang kali menjadi kendala pengikat pada produksi akselerator AI. Kapasitas HBM per GPU sebagian besar menentukan ukuran model maksimum yang dapat dilayani per perangkat dalam inferensi.