Nhà máy AI

Nhà máy AI là thuật ngữ viết tắt trong ngành — được phổ biến bởi Nvidia — chỉ một trung tâm dữ liệu được thiết kế đặc biệt toàn bộ để biến điện và dữ liệu thành sản lượng huấn luyện và suy luận AI, thay vì lưu trữ các tải công việc doanh nghiệp mục đích chung. Không giống như một phòng colocation truyền thống, một nhà máy AI được thiết kế xung quanh các cụm GPU dày đặc — thường hàng chục nghìn bộ tăng tốc được kết nối qua các fabric NVLink và InfiniBand hoặc Ethernet tốc độ cao — với mật độ tủ 100-140+ kW đẩy làm mát trực tiếp trên chip hoặc ngâm từ một tùy chọn sang yêu cầu mặc định. Mua sắc điện, thường ở quy mô gigawatt và đôi khi phía sau công tơ, được coi là ràng buộc thiết kế cấp một bên cạnh tính toán, vì các cụm GPU có thể thay đổi tải bằng hàng chục megawatt trong vài giây trong quá trình đồng bộ hóa huấn luyện. Thuật ngữ này mô tả cơ sở vật lý và kỹ thuật của nó, khác với 'neocloud', mô tả mô hình kinh doanh của các công ty bán quyền truy cập vào công suất đó.