HBM (High Bandwidth Memory)

HBM (high bandwidth memory) adalah jenis DRAM dengan die memori yang ditumpuk secara vertikal dan dihubungkan ke prosesor lewat interposer silikon. Antarmuka yang sangat lebar ini menghasilkan bandwidth jauh lebih tinggi daripada memori DDR atau GDDR konvensional. HBM berada beberapa milimeter dari die GPU, dan ini penting karena workload AI dibatasi oleh bandwidth memori. Stack HBM3E saat ini masing-masing menghasilkan lebih dari 1 TB/s; GPU B200 NVIDIA membawa 192 GB HBM3E dengan bandwidth agregat sekitar 8 TB/s, dan komponen generasi HBM4 mendorong bandwidth per GPU jauh melampaui 10 TB/s. Hanya ada tiga pemasok — SK hynix, Samsung, dan Micron — dan pasokan HBM berulang kali menjadi kendala utama produksi akselerator AI. Kapasitas HBM per GPU sebagian besar menentukan ukuran model maksimum yang dapat dilayani per perangkat dalam inferensi.