HBM (High Bandwidth Memory – bộ nhớ băng thông cao)

HBM (high bandwidth memory) là loại DRAM trong đó các die bộ nhớ được xếp chồng theo chiều dọc và nối với bộ xử lý qua silicon interposer. Giao diện rất rộng này cho băng thông cao hơn nhiều so với bộ nhớ DDR hay GDDR thông thường. HBM nằm cách die GPU chỉ vài milimét, điều này quan trọng vì workload AI bị giới hạn bởi băng thông bộ nhớ. Các stack HBM3E hiện tại đạt trên 1 TB/s mỗi stack; GPU B200 của NVIDIA mang 192 GB HBM3E với băng thông tổng khoảng 8 TB/s, và các linh kiện thế hệ HBM4 đẩy băng thông trên mỗi GPU vượt xa 10 TB/s. Chỉ có ba nhà cung cấp — SK hynix, Samsung và Micron — và nguồn cung HBM đã nhiều lần là nút thắt quyết định sản lượng bộ tăng tốc AI. Dung lượng HBM trên mỗi GPU phần lớn quyết định kích thước mô hình tối đa có thể phục vụ trên mỗi thiết bị khi suy luận.