AI Inference vs Training: Kebutuhan Infrastruktur yang Berbeda

Training dan inference bukan beban kerja yang sama dengan hardware berbeda — mereka memerlukan fasilitas berbeda. Kluster training memusatkan ribuan GPU tingkat teratas dalam segelintir mega-kampus pada 40-160+ kW per rak dengan fabric InfiniBand dan liquid cooling wajib; inference berjalan di situs yang jauh lebih banyak, lebih kecil, lebih murah dekat pengguna akhir, dan menurut kebanyakan perkiraan 2026 sekarang menyumbang kira-kira dua pertiga dari semua komputasi AI.

Poin-poin utama

• Inference melampaui training dalam pangsa komputasi selama 2026. Perkiraan yang dikompilasi oleh Introl dan AgentMarketCap menempatkan inference pada sekitar sepertiga komputasi AI pada 2023, kira-kira setengah pada 2025, dan sekitar dua pertiga pada 2026.
• Kepadatan daya diverges tajam. Rak training pada hardware H100/B200/GB200 berjalan 40-160+ kW, dengan bagian generasi berikutnya diperkirakan mendorong melampaui 300 kW. Rak inference biasanya berjalan 12-60 kW, meskipun inference model penalaran besar merayap ke chip dan kepadatan training-class yang sama.
• Cooling mengikuti kepadatan, bukan label beban kerja. Rak apa pun di atas kira-kira 30-40 kW memerlukan direct-to-chip atau immersion liquid cooling terlepas dari apakah itu training atau serving — lihat panduan liquid cooling kami.
• Training tolerates distance; inference tidak. Training adalah pekerjaan batch tanpa pengguna langsung menunggu, jadi itu pergi ke mana pun power paling murah. Inference melayani permintaan real-time, jadi operator menenpatkannya di pasar metro dekat pengguna.
• Kebutuhan jaringan berbeda dengan urutan besaran dalam sensitivitas biaya. Kluster training membenarkan fabric InfiniBand atau 800G Ethernet yang menelan biaya ribuan per port; beban kerja inference kebanyakan berjalan baik pada Ethernet 400G standar.
• Campuran chip juga diverges. Training tetap terkonsentrasi pada bagian throughput tertinggi; inference semakin bergeser ke accelerator lebih murah (L40S, L4, TPUs, custom ASICs) dipilih untuk cost per token, bukan throughput puncak.
• Implikasi pembeli adalah perencanaan kapasitas, bukan hanya pemilihan chip. Pada 2030, kebanyakan prakiraan setuju inference — bukan training — akan menjadi beban kerja mendominasi permintaan pusat data.

Tarif rental per-GPU langsung di kedua kelas beban kerja ada di indeks harga GPU kami; spesifikasi power dan cooling level fasilitas menurut situs ada di katalog pusat data.

Mengapa split ini penting sekarang

Melalui 2023-2024, “pusat data AI” kebanyakan berarti satu hal: kluster training. Lab frontier melatih model yang semakin besar pada puluhan ribu GPU, dan percakapan infrastruktur tentang pembangunan itu — fabric InfiniBand, liquid cooling, kampus scale gigawatt. Percakapan itu tidak lagi lengkap. Saat model foundation pindah dari research ke production — chatbot, copilot, agent, search, recommendation — komputasi yang dihabiskan untuk menjawab permintaan pengguna mulai mengungguli komputasi yang dihabiskan untuk membangun model di tempat pertama.

Perkiraan pangsa komputasi industri yang dikompilasi oleh Introl dan AgentMarketCap menempatkan inference pada kira-kira sepertiga komputasi AI pada 2023, sekitar setengah pada 2025, dan sekitar dua pertiga pada 2026. Pengeluaran infrastruktur inference cloud diperkirakan $20,6 miliar pada 2026, naik dari $9,2 miliar pada 2025. Konsensus arah di seluruh analis adalah bahwa inference terus mengambil pangsa melalui sisa dekade, dengan EdgeCore dan Introl keduanya mengutip kira-kira 70% permintaan pusat data berasal dari inference pada 2030, dan satu prakiraan kapasitas jangka panjang memproyeksikan inference melampaui training sekitar 2033 menuju kira-kira 46 GW kapasitas dedicated pada 2035.

Untuk siapa pun yang membeli atau membangun kapasitas pusat data, pergeseran itu mengubah RFP. Fasilitas scoped untuk training economics — kepadatan maksimum, bandwidth interconnect maksimum, perhatian minimum untuk latensi end-user — adalah spek yang salah untuk armada situs inference yang dimaksudkan untuk melayani jutaan permintaan low-latency dari puluhan pasar metro.

Kepadatan daya: dua kurva, konvergen di puncak

Beban kerja	Kepadatan rak khas (2026)	Driver
Legacy inference (kelas L4/L40S)	12-30 kW	Chip yang dioptimalkan biaya, air-cooled
Inference high-end (model penalaran besar)	30-60 kW	Persyaratan latensi dan throughput mendorong menuju hardware training-class
Standard training (H100/H200)	40-100 kW	Multi-GPU nodes, NVLink domains
Frontier training (B200/GB200 NVL72)	120-160+ kW	Rack-scale NVLink domains; bagian next-gen trending menuju 300+ kW

Sumber: EdgeCore, Introl, dan panduan kepadatan daya kami sendiri, yang mencakup draw 130-132 kW yang terukur dari GB200 NVL72 dalam lebih detail.

Dua kurva konvergen di bagian atas. Beban kerja inference reasoning-heavy melayani pertanyaan agent multi-step semakin berjalan pada silicon kelas H100- atau B200- yang sama yang digunakan untuk training, karena komputasi per query telah tumbuh jauh melampaui apa yang chip inference ringan seperti L4 dapat menangani secara ekonomis. Itu berarti fasilitas yang dirancang hanya untuk “inference low-density” sudah usang untuk pangsa bermakna dari inference traffic 2026.

Cooling: kepadatan decides, bukan label beban kerja

Rak apa pun yang melampaui kira-kira 30-40 kW memerlukan direct-to-chip liquid cooling atau immersion, baik menjalankan pekerjaan training atau melayani permintaan inference — air cooling tidak dapat menghilangkan begitu banyak panas secara ekonomis. Pembagian praktis pada 2026:

• Inference legacy dan mid-tier (L4, L40S, armada A100 lebih tua) pada 12-30 kW per rak tetap pada air cooling, sering dengan containment hot-aisle standar.
• Inference high-density dan semua training modern (H100 dan di atas) pada 40 kW dan ke atas memerlukan DLC atau immersion sebagai persyaratan desain baseline, bukan pilihan.

Operator membangun kampus training tujuan tunggal dapat standardisasi pada satu arsitektur cooling. Penyedia colocation berfokus inference semakin harus mendukung keduanya — aula air-cooled untuk inference commodity dan zona liquid-cooled untuk reasoning-model dan beban kerja training-adjacent — di dalam fasilitas yang sama.

Jaringan: ekonomi InfiniBand tidak bepergian ke inference

Performa training terikat oleh seberapa cepat ribuan GPU dapat mensinkronkan gradien di seluruh operasi all-reduce, jadi fabric jaringan adalah driver biaya first-order, bukan afterthought:

Fabric	Bandwidth efektif (kluster H100 8-node)	Latensi	Penggunaan khas
InfiniBand NDR 400G	~350 GB/s	~1-2 µs	Kluster training besar
Ethernet + RoCEv2 (400GbE)	~270-290 GB/s	~5-10 µs	Training mid-size, inference high-end
Standard Ethernet (400G)	Cukup untuk kebanyakan inference	Bukan latency-critical pada scale ini	Commodity inference

Data dikompilasi oleh Introl dan Lightyear dari benchmark NCCL yang dipublikasikan.

Keuntungan latensi dan bandwidth InfiniBand penting untuk training karena interconnect lambat menghentikan ribuan GPU sekaligus selama setiap langkah sinkronisasi — biaya underprovisioning jaringan compounding di seluruh kluster selama kehidupan training run. Inference tidak memiliki bottleneck all-reduce dengan cara yang sama: KV-cache transfer dan request routing jauh kurang sensitif terhadap latensi microsecond-level, jadi InfiniBand jarang cost-justified. Fabric Ethernet 800G mendominasi pengiriman AI cluster switch pada 2025 dan diharapkan terus menggusur InfiniBand di ujung rendah dan menengah dari kedua deployment training dan inference melalui 2026, sementara InfiniBand memegang segmen training extreme-scale.

Geografi: training pergi ke power, inference pergi ke pengguna

Ini adalah perbedaan operasional paling mencolok. Training adalah pekerjaan batch terjadwal — tidak ada yang menunggu real-time untuk token individual, jadi operator mengoptimalkan untuk power dan tanah termurah yang tersedia, bahkan jika itu berarti Wyoming pedesaan, Malaysia jauh, atau kampus nuclear-adjacent dedicated. Lihat panduan kami tentang grid connection queues dan SMR/nuclear power untuk pusat data untuk mengapa kampus training semakin mengejar power availability atas proximity.

Inference adalah masalah kebalikan. Respons chatbot atau copilot memiliki pengguna di ujung lain menunggu sub-detik, dan network round-trip time tumbuh dengan jarak fisik. Wilayah cloud biasanya dapat memberikan inference dalam range 10-50ms bergantung pada payload dan network path, yang memadai untuk kebanyakan aplikasi conversational — tetapi angka itu menurun saat jarak dari pusat populasi tumbuh, itulah mengapa hyperscaler menyebarkan kapasitas inference di puluhan hingga ratusan situs metro-adjacent daripada segelintir mega-kampus. Ini adalah logika yang sama tercakup dalam panduan edge computing use cases kami: inference adalah kelas beban kerja yang benar-benar membenarkan kebanyakan edge AI deployment, sementara training pada dasarnya tidak pernah.

Pemilihan chip: throughput untuk training, cost per query untuk inference

Chip	On-demand rate (median, 2026)	Peran utama
NVIDIA GB200 (per GPU)	~$18.79/hr	Training frontier
NVIDIA B200	~$6.99/hr	Training, inference high-end
NVIDIA H100	~$3.30/hr	Training, inference reasoning-model
NVIDIA L40S	~$0.90/hr	Inference yang dioptimalkan biaya

Tarif dari indeks harga GPU Coloprice, diperbarui 2026-08-24; range menurut penyedia bervariasi jauh melampaui median yang ditunjukkan di sini.

Training hampir selalu membeli bagian throughput tertinggi yang tersedia, karena biaya training didominasi oleh wall-clock time pada pekerjaan multi-GPU yang mahal — chip lebih cepat yang menyelesaikan run lebih awal bernilai premium. Inference mengoptimalkan variabel kebalikan: cost per token atau cost per query pada latensi apa pun yang dibutuhkan aplikasi. Itulah mengapa sebagian besar inference produksi masih berjalan pada hardware kelas L40S- atau L4-, dan mengapa silicon optimization-inference — Google TPUs, AWS Inferentia, dan custom ASICs dari hyperscaler — telah mendapatkan tanah khusus dalam inference, di mana Google telah secara publik mengutip keuntungan price-performance substantial untuk armada TPU-nya pada beban kerja inference. Inference reasoning-heavy adalah pengecualian yang menarik pemilihan chip kembali menuju hardware training-class, karena pertanyaan agent multi-step dapat mengkonsumsi order of magnitude lebih banyak komputasi per request daripada single-pass chat completion.

Apa artinya ini untuk pembeli colocation

1. Jangan spec kapasitas inference seperti kluster training. Overbuilding fabric InfiniBand dan aula 100%-liquid-cooled untuk beban kerja yang kebanyakan commodity inference membuang-buang modal yang tidak membeli apa pun dalam latensi atau throughput yang benar-benar dibutuhkan aplikasi.
2. Jangan underbuild untuk inference reasoning-model baik. Jika beban kerja inference Anda mencakup agent atau multi-step reasoning, anggaran untuk kepadatan training-adjacent (40 kW+) dan liquid cooling readiness, bukan baseline air-cooled 12-30 kW.
3. Site training untuk power, inference untuk pengguna. Gunakan katalog pusat data untuk membandingkan pasar sekunder power-rich untuk training terhadap pasar metro dengan connectivity lebih baik untuk inference; dua masalah pemilihan situs jarang menunjuk ke fasilitas yang sama.
4. Model total cost per beban kerja, bukan per GPU-hour. Chip inference lebih murah dengan tokens-per-watt lebih buruk dapat kalah ke yang lebih mahal sekali biaya power disertakan — minta kutipan untuk kedua konfigurasi melalui layanan quote kami daripada mengasumsikan sticker price lebih rendah wins.
5. Harapkan persyaratan fasilitas terus converging di high end. Saat model penalaran mendorong lebih banyak inference ke hardware training-class, penyedia colocation yang hanya dibangun untuk satu jenis beban kerja akan menemukan diri mereka retrofitting — rencana kapasitas mixed-density, mixed-cooling sekarang daripada setelah fakta.

Lacak harga langsung dan benchmark pasar untuk kedua kelas beban kerja dalam indeks harga colocation dan statistik pasar.