Suy luận AI so với Huấn luyện: Nhu cầu cơ sở hạ tầng khác nhau

Huấn luyện và suy luận không phải là cùng một workload mặc dù với hardware khác nhau — chúng cần các cơ sở khác nhau. Các cụm huấn luyện tập trung hàng ngàn GPU hạng cao trong một vài mega-campuses ở 40-160+ kW trên mỗi rack với các kết cấu mạng InfiniBand và bắt buộc phải có làm mát chất lỏng; suy luận chạy trên các cơ sở rất nhiều hơn, nhỏ hơn, rẻ hơn gần người dùng cuối, và theo hầu hết các ước tính năm 2026, nó hiện chiếm khoảng hai phần ba của tất cả tính toán AI.

Những điểm chính

• Suy luận đã vượt quá huấn luyện trong phần chia sẻ tính toán trong năm 2026. Các ước tính được biên soạn bởi Introl và AgentMarketCap đặt suy luận ở khoảng một phần ba tính toán AI vào năm 2023, khoảng một nửa vào năm 2025, và khoảng hai phần ba vào năm 2026.
• Mật độ công suất phân kỳ sắc nét. Các rack huấn luyện trên hardware H100/B200/GB200 chạy 40-160+ kW, với các bộ phận thế hệ tiếp theo dự kiến sẽ vượt quá 300 kW. Các rack suy luận thường chạy 12-60 kW, mặc dù suy luận mô hình lý luận lớn đang dần chuyển sang các chip và mật độ hạng huấn luyện tương tự.
• Làm mát theo mật độ, không phải nhãn workload. Bất kỳ rack nào trên khoảng 30-40 kW cần làm mát chất lỏng trực tiếp trên chip hoặc immersion bất kể nó có phải là huấn luyện hay phục vụ — xem hướng dẫn làm mát chất lỏng của chúng tôi.
• Huấn luyện chịu được khoảng cách; suy luận thì không. Huấn luyện là một công việc batch với không có người dùng trực tiếp đợi, vì vậy nó đi đến nơi mà điện rẻ nhất. Suy luận phục vụ các yêu cầu thời gian thực, vì vậy các nhà khai thác đặt nó trên các thị trường đô thị gần người dùng.
• Yêu cầu mạng khác nhau về độ nhạy cảm chi phí có bậc độ lớn. Các cụm huấn luyện biện minh cho các kết cấu mạng InfiniBand hoặc 800G Ethernet chi phí hàng ngàn đô la trên mỗi cổng; các workload suy luận hầu hết chạy tốt trên Ethernet 400G tiêu chuẩn.
• Kết hợp chip cũng đang phân kỳ. Huấn luyện vẫn tập trung vào các bộ phận có thông lượng cao nhất; suy luận ngày càng chuyển sang các accelerators rẻ hơn (L40S, L4, TPUs, custom ASICs) được chọn cho chi phí trên mỗi token, không phải thông lượng peak.
• Hệ quả cho người mua là lập kế hoạch công suất, không chỉ lựa chọn chip. Vào năm 2030, hầu hết các dự báo đều đồng ý rằng suy luận — không phải huấn luyện — sẽ là workload thống trị nhu cầu trung tâm dữ liệu.

Các tỷ giá rental trên mỗi GPU trực tiếp cho cả hai lớp workload nằm trong chỉ số giá GPU của chúng tôi; các thông số công suất và làm mát cấp cơ sở theo trung tâm nằm trong catalog trung tâm dữ liệu.

Tại sao sự chia tách này quan trọng ngay bây giờ

Trong suốt 2023-2024, “trung tâm dữ liệu AI” hầu hết có nghĩa là một điều: một cụm huấn luyện. Các phòng thí nghiệm biên giới huấn luyện các mô hình ngày càng lớn trên hàng chục ngàn GPU, và cuộc trò chuyện về cơ sở hạ tầng là về cách xây dựng đó — các kết cấu mạng InfiniBand, làm mát chất lỏng, mega-campuses gigawatt-scale. Cuộc trò chuyện đó không còn đầy đủ. Khi các mô hình nền tảng chuyển từ nghiên cứu sang sản xuất — chatbots, copilots, agents, tìm kiếm, đề xuất — tính toán dành cho trả lời yêu cầu người dùng bắt đầu vượt quá tính toán dành cho xây dựng mô hình.

Các ước tính chia sẻ tính toán của ngành công nghiệp được biên soạn bởi Introl và AgentMarketCap đặt suy luận ở khoảng một phần ba tính toán AI vào năm 2023, khoảng một nửa vào năm 2025, và khoảng hai phần ba vào năm 2026. Chi phí cơ sở hạ tầng suy luận đám mây được ước tính ở mức 20,6 tỷ đô la vào năm 2026, tăng từ 9,2 tỷ đô la vào năm 2025. Sự đồng thuận chỉ hướng giữa các nhà phân tích là suy luận tiếp tục chiếm phần trong phần còn lại của thập kỷ, với EdgeCore và Introl đều đề cập đến khoảng 70% nhu cầu trung tâm dữ liệu đến từ suy luận vào năm 2030, và một dự báo công suất dài hạn dự kiến suy luận vượt quá huấn luyện khoảng năm 2033 trên đường tới khoảng 46 GW công suất chuyên dụng vào năm 2035.

Đối với bất kỳ ai mua hoặc xây dựng công suất trung tâm dữ liệu, sự thay đổi đó làm thay đổi RFP. Một cơ sở được phạm vi cho kinh tế học huấn luyện — mật độ tối đa, thông lượng kết nối tối đa, mối quan tâm tối thiểu đến độ trễ người dùng cuối — là thông số sai cho một đội fleet các trung tâm suy luận được thiết kế để phục vụ hàng triệu yêu cầu độ trễ thấp từ hàng chục thị trường đô thị.

Mật độ công suất: hai đường cong, hội tụ ở đỉnh

Workload	Mật độ rack điển hình (2026)	Động lực
Suy luận kế thừa (chip lớp L4/L40S)	12-30 kW	Chip được tối ưu hóa chi phí, làm mát bằng khí
Suy luận hạng cao (mô hình lý luận lớn)	30-60 kW	Yêu cầu độ trễ và thông lượng đẩy hướng tới hardware hạng huấn luyện
Huấn luyện tiêu chuẩn (H100/H200)	40-100 kW	Các node GPU nhiều, các lĩnh vực NVLink
Huấn luyện biên giới (B200/GB200 NVL72)	120-160+ kW	Các lĩnh vực NVLink quy mô rack; các bộ phận thế hệ tiếp theo hướng tới 300+ kW

Nguồn: EdgeCore, Introl, và hướng dẫn mật độ công suất của chúng tôi, bao gồm chi tiết rút ra 130-132 kW của NVL72 B200.

Hai đường cong đang hội tụ ở đỉnh. Một workload suy luận nặng lý luận ngày càng chạy trên cùng một silicon hạng H100 hoặc B200 được sử dụng cho huấn luyện, bởi vì tính toán trên mỗi truy vấn đã lớn vượt quá những gì một chip suy luận nhẹ như L4 có thể xử lý hiệu quả. Điều đó có nghĩa là các cơ sở được thiết kế chỉ cho “suy luận mật độ thấp” đã cũ cho một phần đáng kể của lưu lượng suy luận năm 2026.

Làm mát: mật độ quyết định, không phải nhãn workload

Bất kỳ rack nào vượt quá khoảng 30-40 kW cần làm mát chất lỏng trực tiếp trên chip hoặc immersion, cho dù nó đang chạy một công việc huấn luyện hay phục vụ các yêu cầu suy luận — làm mát bằng khí đơn giản không thể loại bỏ nhiều nhiệt đó hiệu quả. Sự chia tách thực tế vào năm 2026:

• Suy luận kế thừa và giữa (L4, L40S, các đội A100 cũ) ở 12-30 kW trên mỗi rack vẫn dùng làm mát bằng khí, thường có sự chứa ấm aisle tiêu chuẩn.
• Suy luận mật độ cao và tất cả huấn luyện hiện đại (H100 và cao hơn) ở 40 kW trở lên yêu cầu DLC hoặc immersion như yêu cầu thiết kế cơ bản, không phải tùy chọn.

Các nhà khai thác xây dựng mega-campuses huấn luyện đơn mục đích có thể chuẩn hóa trên một kiến trúc làm mát. Các nhà cung cấp colocation tập trung vào suy luận ngày càng phải hỗ trợ cả hai — các khu truyền không khí cho suy luận hàng hóa và các khu vực làm mát chất lỏng cho mô hình lý luận và các workload liền kề huấn luyện — bên trong cùng một cơ sở.

Mạng: kinh tế học InfiniBand không du hành đến suy luận

Hiệu suất huấn luyện được ràng buộc bởi cách nhanh hàng ngàn GPU có thể đồng bộ hóa gradients trên một hoạt động all-reduce, vì vậy kết cấu mạng là một trình điều khiển chi phí bậc nhất, không phải suy nghĩ sau:

Kết cấu	Thông lượng hiệu quả (cụm 8-node H100)	Độ trễ	Sử dụng điển hình
InfiniBand NDR 400G	~350 GB/s	~1-2 µs	Các cụm huấn luyện lớn
Ethernet + RoCEv2 (400GbE)	~270-290 GB/s	~5-10 µs	Huấn luyện kích thước trung bình, suy luận hạng cao
Ethernet tiêu chuẩn (400G)	Đủ cho hầu hết suy luận	Không nhạy cảm về độ trễ ở quy mô này	Suy luận hàng hóa

Dữ liệu được biên soạn bởi Introl và Lightyear từ các điểm chuẩn NCCL đã xuất bản.

Lợi thế độ trễ và thông lượng của InfiniBand quan trọng cho huấn luyện bởi vì một kết nối chậm làm trì trệ hàng ngàn GPU một lần trong mỗi bước đồng bộ hóa — chi phí thiếu cung cấp mạng kết hợp trên toàn bộ cụm trong suốt thời gian chạy huấn luyện. Suy luận không có tắc nghẽn all-reduce đó theo cùng một cách: chuyển giao KV-cache và định tuyến yêu cầu ít nhạy cảm về độ trễ ở mức microsecond hơn nhiều, vì vậy InfiniBand hiếm khi được biện minh về chi phí. Các kết cấu mạng 800G Ethernet thống trị vận chuyển chuyển mạch cụm AI vào năm 2025 và dự kiến sẽ tiếp tục thay thế InfiniBand ở đầu thấp và trung bình của cả hai triển khai huấn luyện và suy luận trong suốt năm 2026, trong khi InfiniBand giữ phân khúc huấn luyện quy mô cực đoan.

Địa lý: huấn luyện đi tới điện, suy luận đi tới người dùng

Đây là sự khác biệt hoạt động gắn gọn nhất. Huấn luyện là một công việc batch được lên lịch — không ai đợi trong thời gian thực cho một token riêng lẻ, vì vậy các nhà khai thác tối ưu hóa cho điện rẻ nhất có sẵn và đất đai, ngay cả khi đó có nghĩa là Wyoming nông thôn, Malaysia xa xôi, hoặc một mega-campuses liền kề nuclear chuyên dụng. Xem các hướng dẫn của chúng tôi về hàng đợi kết nối lưới và công suất SMR/nuclear cho các trung tâm dữ liệu để biết tại sao các mega-campuses huấn luyện ngày càng đuổi theo khả năng cung cấp điện trên gần.

Suy luận là vấn đề ngược lại. Phản hồi chatbot hoặc copilot có một người dùng ở đầu kia đợi dưới một giây, và thời gian vòng mạng tăng theo khoảng cách vật lý. Các vùng đám mây thường có thể cung cấp suy luận trong phạm vi 10-50ms tùy theo tải trọng và đường mạng, đủ cho hầu hết các ứng dụng hội thoại — nhưng con số đó xuống cấp khi khoảng cách từ trung tâm dân cư tăng, điều đó là lý do tại sao các siêu quy mô triển khai công suất suy luận trên hàng chục đến hàng trăm cơ sở liền kề metro chứ không phải một vài mega-campuses. Đây là cùng logic được bao gồm trong hướng dẫn trường hợp sử dụng computing edge của chúng tôi: suy luận là lớp workload thực sự biện minh cho hầu hết các triển khai AI edge, trong khi huấn luyện về cơ bản không bao giờ làm.

Lựa chọn chip: thông lượng cho huấn luyện, chi phí trên mỗi truy vấn cho suy luận

Chip	Tỷ giá on-demand (trung vị, 2026)	Vai trò chính
NVIDIA GB200 (trên mỗi GPU)	~$18.79/hr	Huấn luyện biên giới
NVIDIA B200	~$6.99/hr	Huấn luyện, suy luận hạng cao
NVIDIA H100	~$3.30/hr	Huấn luyện, suy luận mô hình lý luận
NVIDIA L40S	~$0.90/hr	Suy luận được tối ưu hóa chi phí

Tỷ giá từ chỉ số giá GPU Coloprice, cập nhật 2026-08-24; phạm vi theo nhà cung cấp thay đổi rất lớn ngoài trung vị được hiển thị ở đây.

Huấn luyện hầu như luôn mua bộ phận có thông lượng cao nhất có sẵn, bởi vì chi phí huấn luyện được thống trị bởi thời gian trực tiếp trên một công việc GPU đắt tiền — một chip nhanh hơn hoàn thành chạy sớm hơn đáng giá premium. Suy luận tối ưu hóa biến đối ngược: chi phí trên mỗi token hoặc chi phí trên mỗi truy vấn ở bất kỳ độ trễ nào ứng dụng yêu cầu. Đó là lý do tại sao một phần lớn suy luận sản xuất vẫn chạy trên hardware lớp L40S hoặc L4, và tại sao silicon được tối ưu hóa cho suy luận — TPUs của Google, Inferentia của AWS, và custom ASICs từ các siêu quy mô — đã lớn cụ thể trong suy luận, nơi Google công khai đã trích dẫn một lợi thế giá-hiệu suất đáng kể cho đội TPU của nó trên các workload suy luận. Suy luận nặng lý luận là ngoại lệ kéo lựa chọn chip quay lại hardware hạng huấn luyện, vì các truy vấn agent nhiều bước có thể tiêu thụ một bậc độ lớn hơn tính toán trên mỗi yêu cầu so với hoàn thành chat một lần.

Điều này có nghĩa gì cho những người mua colocation

1. Đừng thông số công suất suy luận như một cụm huấn luyện. Quá xây dựng các kết cấu mạng InfiniBand và các khu truyền 100%-chất lỏng cho một workload hầu hết là suy luận hàng hóa lãng phí vốn không mua bất cứ điều gì trong độ trễ hoặc thông lượng ứng dụng thực sự cần.
2. Đừng xây dựng thiếu cho suy luận mô hình lý luận hoặc. Nếu workload suy luận của bạn bao gồm agents hoặc lý luận nhiều bước, ngân sách cho mật độ liền kề huấn luyện (40 kW+) và sẵn sàng làm mát chất lỏng, không phải đường cơ sở làm mát bằng khí 12-30 kW.
3. Trung tâm huấn luyện cho điện, suy luận cho người dùng. Sử dụng catalog trung tâm dữ liệu để so sánh các thị trường thứ cấp giàu điện cho huấn luyện so với các thị trường đô thị kết nối tốt hơn cho suy luận; hai vấn đề lựa chọn trung tâm hiếm khi chỉ tới cùng một cơ sở.
4. Tính toán tổng chi phí trên mỗi workload, không phải trên mỗi giờ GPU. Một chip suy luận rẻ hơn với tokens-trên mỗi-watt tệ hơn có thể thua cho một cái có giá cao hơn một khi chi phí điện được bao gồm — yêu cầu báo giá cho cả hai cấu hình thông qua dịch vụ báo giá của chúng tôi chứ không phải giả sử giá sticker thấp hơn thắng.
5. Yêu cầu cơ sở tiếp tục hội tụ ở đỉnh. Khi các mô hình lý luận đẩy nhiều suy luận hơn vào hardware hạng huấn luyện, các nhà cung cấp colocation chỉ xây dựng cho một loại workload sẽ tìm thấy chính họ cải tạo — kế hoạch công suất mật độ hỗn hợp, làm mát hỗn hợp ngay bây giờ chứ không phải sau đó.

Theo dõi giá trực tiếp và các điểm chuẩn thị trường cho cả hai lớp workload trong chỉ số giá colocation và thống kê thị trường.