HBM (Bộ nhớ Băng thông Cao)

HBM (high bandwidth memory) là một loại DRAM trong đó các die bộ nhớ được xếp chồng lên nhau theo chiều dọc và kết nối với bộ xử lý qua giao diện rất rộng thông qua một lớp silicon interposer, cung cấp băng thông cao hơn nhiều so với bộ nhớ DDR hoặc GDDR thông thường. HBM nằm chỉ cách die GPU vài mm, điều này quan trọng vì các tải công việc AI bị ràng buộc bởi băng thông bộ nhớ. Các stack HBM3E hiện tại cung cấp trên 1 TB/s mỗi cái; GPU B200 của NVIDIA mang 192 GB HBM3E với khoảng 8 TB/s băng thông tổng hợp, và các chip thế hệ HBM4 đẩy băng thông trên mỗi GPU vượt quá 10 TB/s. Chỉ tồn tại ba nhà cung cấp — SK hynix, Samsung và Micron — và nguồn cung HBM liên tục là ràng buộc chính trong sản xuất bộ tăng tốc AI. Dung lượng HBM trên mỗi GPU phần lớn xác định kích thước mô hình tối đa có thể phục vụ trên mỗi thiết bị trong suy luận.