HBM (หน่วยความจำแบนด์วิดท์สูง)

HBM (หน่วยความจำแบนด์วิดท์สูง) เป็นประเภท DRAM ที่ตัวชิปหน่วยความจำถูกซ้อนแนวตั้งและเชื่อมต่อกับตัวประมวลผลผ่าน silicon interposer ที่มีส่วนต่อประสานกว้างมาก ทำให้มีแบนด์วิดท์สูงกว่า DDR หรือ GDDR หน่วยความจำแบบทั่วไปมากนัก HBM อยู่ห่างจากตัวชิป GPU เพียงไม่กี่มิลลิเมตร ซึ่งสำคัญเพราะงาน AI มีข้อจำกัดจากแบนด์วิดท์หน่วยความจำ สแต็ก HBM3E ปัจจุบันจ่ายแบนด์วิดท์มากกว่า 1 TB/s; GPU B200 ของ NVIDIA มี 192 GB HBM3E โดยมีแบนด์วิดท์รวมประมาณ 8 TB/s และชิป HBM4 รุ่นใหม่มีแบนด์วิดท์ต่อ GPU เกินกว่า 10 TB/s มีผู้จัดหาเพียงสามราย — SK hynix, Samsung และ Micron — และอุปทาน HBM ได้กลายเป็นข้อจำกัดสำคัญสำหรับการผลิต AI accelerator ความจุ HBM ต่อ GPU ในการส่วนใหญ่กำหนดขนาดโมเดลสูงสุดที่ใช้ได้ต่อการอนุมาน