« L'inférence IA vs l'entraînement : des besoins en infrastructure différents »

L’entraînement et l’inférence ne sont pas la même charge de travail portant du matériel différent — ils nécessitent des installations différentes. Les clusters d’entraînement concentrent des milliers de GPU haut de gamme dans une poignée de méga-campus à 40-160+ kW par baie avec des tissus InfiniBand et un refroidissement liquide obligatoire ; l’inférence s’exécute sur des sites bien plus nombreux, plus petits et moins chers près des utilisateurs finaux, et selon la plupart des estimations de 2026, elle représente maintenant environ les deux tiers de tout le calcul IA.

Points clés

• L’inférence a dépassé l’entraînement en part de calcul au cours de 2026. Les estimations compilées par Introl et AgentMarketCap placent l’inférence à environ un tiers du calcul IA en 2023, environ la moitié en 2025, et environ les deux tiers en 2026.
• La densité de puissance diverge fortement. Les baies d’entraînement sur du matériel H100/B200/GB200 s’exécutent à 40-160+ kW, les pièces de nouvelle génération devant dépasser 300 kW. Les baies d’inférence s’exécutent généralement à 12-60 kW, bien que l’inférence de grands modèles de raisonnement s’ajoute progressivement aux mêmes puces de classe d’entraînement et densités.
• Le refroidissement suit la densité, pas l’étiquette de la charge de travail. Toute baie au-dessus d’environ 30-40 kW a besoin d’un refroidissement liquide direct à la puce ou par immersion, qu’elle soit en entraînement ou en service — voir notre guide de refroidissement liquide.
• L’entraînement tolère la distance ; l’inférence ne le fait pas. L’entraînement est un travail par lot sans utilisateur en direct attendant, il va donc où la puissance est la moins chère. L’inférence sert les demandes en temps réel, les opérateurs la placent donc sur les marchés métropolitains près des utilisateurs.
• Les exigences de réseau diffèrent d’un ordre de grandeur en matière de sensibilité aux coûts. Les clusters d’entraînement justifient les tissus InfiniBand ou Ethernet 800G coûtant des milliers par port ; les charges de travail d’inférence s’exécutent généralement bien sur Ethernet 400G standard.
• Le mélange de puces diverge aussi. L’entraînement reste concentré sur les composants à plus haut débit ; l’inférence s’oriente de plus en plus vers des accélérateurs moins chers (L40S, L4, TPU, ASIC personnalisés) choisis pour le coût par token, non le débit maximal.
• L’implication pour l’acheteur est la planification de la capacité, pas seulement la sélection des puces. D’ici 2030, la plupart des prévisions s’accordent à dire que l’inférence — et non l’entraînement — sera la charge de travail dominant la demande des centres de données.

Les tarifs de location en direct par GPU pour les deux classes de charges de travail se trouvent dans notre indice des prix des GPU ; les spécifications d’alimentation et de refroidissement au niveau des installations par site se trouvent dans le catalogue des centres de données.

Pourquoi la division est importante maintenant

De 2023-2024, « centre de données IA » signifiait principalement une chose : un cluster d’entraînement. Les labs de frontier entraînaient des modèles toujours plus grands sur des dizaines de milliers de GPU, et la conversation sur l’infrastructure portait sur cette construction — des tissus InfiniBand, un refroidissement liquide, des campus à l’échelle du gigawatt. Cette conversation n’est plus complète. À mesure que les modèles de base se sont déplacés de la recherche vers la production — chatbots, copilotes, agents, recherche, recommandation — le calcul dépensé pour répondre aux demandes des utilisateurs a commencé à dépasser le calcul dépensé pour construire le modèle en premier lieu.

Les estimations de part de calcul du secteur compilées par Introl et AgentMarketCap placent l’inférence à environ un tiers du calcul IA en 2023, environ la moitié d’ici 2025, et environ les deux tiers en 2026. Les dépenses d’infrastructure d’inférence cloud sont estimées à 20,6 milliards de dollars en 2026, contre 9,2 milliards de dollars en 2025. Le consensus directionnel entre les analystes est que l’inférence continue de prendre des parts tout au long de la décennie, EdgeCore et Introl citant tous deux environ 70 % de la demande des centres de données provenant de l’inférence d’ici 2030, et une prévision de capacité à long terme projetant l’inférence dépassant l’entraînement autour de 2033 en route vers environ 46 GW de capacité dédiée d’ici 2035.

Pour quiconque achète ou construit de la capacité de centre de données, ce changement modifie la RFP. Une installation dimensionnée pour les économies d’entraînement — densité maximale, bande passante d’interconnexion maximale, préoccupation minimale pour la latence des utilisateurs finaux — est la mauvaise spécification pour une flotte de sites d’inférence destinée à servir des millions de demandes à faible latence à partir de dizaines de marchés métropolitains.

Densité de puissance : deux courbes, convergeant au sommet

Charge de travail	Densité typique de baie (2026)	Moteur
Inférence héritée (classe L4/L40S)	12-30 kW	Puces optimisées pour les coûts, refroidies par air
Inférence haut de gamme (grands modèles de raisonnement)	30-60 kW	Les exigences de latence et de débit poussent vers le matériel de classe d’entraînement
Entraînement standard (H100/H200)	40-100 kW	Nœuds multi-GPU, domaines NVLink
Entraînement de frontier (B200/GB200 NVL72)	120-160+ kW	Domaines NVLink à l’échelle de la baie ; les pièces de nouvelle génération tendant vers 300+ kW

Sources : EdgeCore, Introl, et notre propre guide de densité de puissance, qui couvre le tirage mesuré de 130-132 kW du GB200 NVL72 plus en détail.

Les deux courbes convergent au sommet. Une charge de travail d’inférence lourde en raisonnement servant des requêtes d’agents multi-étapes s’exécute de plus en plus sur le même silicium de classe H100 ou B200 utilisé pour l’entraînement, car le calcul par requête a bien dépassé ce qu’une puce d’inférence légère comme la L4 peut gérer économiquement. Cela signifie que les installations conçues uniquement pour « l’inférence à faible densité » sont déjà obsolètes pour une part significative du trafic d’inférence de 2026.

Refroidissement : la densité décide, pas l’étiquette de la charge de travail

Toute baie dépassant environ 30-40 kW a besoin d’un refroidissement liquide direct à la puce ou par immersion, qu’elle exécute un travail d’entraînement ou serve des demandes d’inférence — le refroidissement par air ne peut simplement pas éliminer autant de chaleur de manière économique. La division pratique en 2026 :

• L’inférence héritée et de milieu de gamme (L4, L40S, flottes A100 plus anciennes) à 12-30 kW par baie reste sur le refroidissement par air, souvent avec un confinement standard de l’allée chaude.
• L’inférence à haute densité et tout entraînement moderne (H100 et plus) à 40 kW et plus nécessite DLC ou l’immersion comme exigence de conception de base, non comme option.

Les opérateurs construisant des campus d’entraînement à usage unique peuvent normaliser une architecture de refroidissement. Les fournisseurs de colocation axés sur l’inférence doivent de plus en plus soutenir les deux — des salles refroidies par air pour l’inférence de produits de base et des zones refroidies par liquide pour les modèles de raisonnement et les charges de travail adjacentes à l’entraînement — dans la même installation.

Réseau : l’économie InfiniBand ne s’étend pas à l’inférence

Les performances d’entraînement sont limitées par la vitesse à laquelle des milliers de GPU peuvent synchroniser les gradients sur une opération de réduction globale, le tissu réseau est donc un moteur de coûts au premier ordre, non une réflexion après coup :

Tissu	Bande passante effective (cluster H100 à 8 nœuds)	Latence	Utilisation typique
InfiniBand NDR 400G	~350 GB/s	~1-2 µs	Grands clusters d’entraînement
Ethernet + RoCEv2 (400GbE)	~270-290 GB/s	~5-10 µs	Entraînement de taille moyenne, inférence haut de gamme
Ethernet standard (400G)	Suffisant pour la plupart des inférences	Pas critique pour la latence à cette échelle	Inférence de produits de base

Données compilées par Introl et Lightyear à partir des benchmarks NCCL publiés.

L’avantage de latence et de bande passante d’InfiniBand est important pour l’entraînement car une interconnexion lente bloque des milliers de GPU à la fois à chaque étape de synchronisation — le coût du sous-approvisionnement du réseau s’accumule sur tout le cluster pendant la durée du cycle d’entraînement. L’inférence n’a pas ce goulot d’étranglement de réduction globale de la même manière : le transfert de cache KV et le routage des demandes sont beaucoup moins sensibles à la latence au niveau de la microseconde, donc InfiniBand est rarement justifié du point de vue des coûts. Les tissus Ethernet 800G ont dominé les expéditions de commutateurs de clusters IA en 2025 et devraient continuer à déplacer InfiniBand aux extrémités basse et moyenne des déploiements d’entraînement et d’inférence jusqu’en 2026, tandis qu’InfiniBand conserve le segment d’entraînement à l’échelle extrême.

Géographie : l’entraînement va où est la puissance, l’inférence va vers les utilisateurs

C’est la différence opérationnelle la plus flagrante. L’entraînement est un travail par lot planifié — personne n’attend en temps réel un token individuel, les opérateurs optimisent donc pour la puissance et la terre disponibles les moins chères, même si cela signifie le Wyoming rural, la Malaisie éloignée, ou un campus adjacent au nucléaire dédié. Consultez nos guides sur les files d’attente de connexion au réseau et la puissance SMR/nucléaire pour les centres de données pour comprendre pourquoi les campus d’entraînement poursuivent de plus en plus la disponibilité de la puissance plutôt que la proximité.

L’inférence est le problème inverse. Une réponse de chatbot ou de copilote a un utilisateur à l’autre bout attendant moins d’une seconde, et le temps d’aller-retour du réseau augmente avec la distance physique. Les régions cloud peuvent généralement livrer l’inférence dans une plage de 10-50 ms selon la charge et le chemin du réseau, ce qui est adéquat pour la plupart des applications conversationnelles — mais ce nombre se dégrade à mesure que la distance du centre de population augmente, ce qui explique pourquoi les hyperscalers déploient la capacité d’inférence sur des dizaines à des centaines de sites adjacents aux métropoles plutôt qu’une poignée de méga-campus. C’est la même logique couverte dans notre guide des cas d’usage de l’edge computing : l’inférence est la classe de charge de travail qui justifie réellement la plupart des déploiements IA en edge, tandis que l’entraînement essentiellement ne le fait jamais.

Sélection des puces : débit pour l’entraînement, coût par requête pour l’inférence

Puce	Tarif à la demande (médiane, 2026)	Rôle principal
NVIDIA GB200 (par GPU)	~$18,79/hr	Entraînement de frontier
NVIDIA B200	~$6,99/hr	Entraînement, inférence haut de gamme
NVIDIA H100	~$3,30/hr	Entraînement, inférence de modèle de raisonnement
NVIDIA L40S	~$0,90/hr	Inférence optimisée pour les coûts

Tarifs de l’indice des prix des GPU Coloprice, mis à jour le 2026-08-24 ; les gammes par fournisseur varient bien au-delà de la médiane indiquée ici.

L’entraînement achète presque toujours la puce à plus haut débit disponible, car le coût d’entraînement est dominé par le temps mur sur un travail multi-GPU coûteux — une puce plus rapide qui termine l’exécution plus tôt vaut la prime. L’inférence optimise la variable opposée : coût par token ou coût par requête selon la latence requise par l’application. C’est pourquoi une grande part de l’inférence en production s’exécute toujours sur du matériel de classe L40S ou L4, et pourquoi le silicium optimisé pour l’inférence — les TPU Google, AWS Inferentia, et les ASIC personnalisés des hyperscalers — a gagné du terrain spécifiquement en inférence, où Google a cité publiquement un avantage substanciel de rapport prix-performance pour sa flotte de TPU sur les charges de travail d’inférence. L’inférence lourd en raisonnement est l’exception qui tire la sélection des puces vers le matériel de classe d’entraînement, car les requêtes d’agents multi-étapes peuvent consommer un ordre de grandeur plus de calcul par requête qu’une complétion de chat en un seul passage.

Ce que cela signifie pour les acheteurs de colocation

1. Ne spécifiez pas la capacité d’inférence comme un cluster d’entraînement. Surcharger les tissus InfiniBand et les salles 100 % refroidies par liquide pour une charge de travail qui est principalement une inférence de produits de base gaspille du capital qui n’achète rien en latence ou débit que l’application a réellement besoin.
2. Ne sous-construisez pas non plus pour l’inférence de modèles de raisonnement. Si votre charge de travail d’inférence inclut des agents ou du raisonnement multi-étapes, budgétisez pour une densité adjacent à l’entraînement (40 kW+) et une disponibilité de refroidissement liquide, non la ligne de base de 12-30 kW refroidie par air.
3. Situez l’entraînement pour la puissance, l’inférence pour les utilisateurs. Utilisez le catalogue des centres de données pour comparer les marchés secondaires riches en puissance pour l’entraînement par rapport aux marchés métropolitains avec une meilleure connectivité pour l’inférence ; les deux problèmes de sélection de site pointent rarement vers la même installation.
4. Modélisez le coût total par charge de travail, non par GPU-heure. Une puce d’inférence moins chère avec pires tokens par watt peut perdre face à une plus chère une fois que les coûts d’électricité sont inclus — demandez des devis pour les deux configurations via notre service de devis plutôt que de supposer que le prix catalogue le plus bas l’emporte.
5. Attendez-vous à ce que les exigences des installations continuent de converger au sommet. À mesure que les modèles de raisonnement poussent plus d’inférence vers le matériel de classe d’entraînement, les fournisseurs de colocation qui n’ont construit que pour un type de charge de travail se trouveront en train de rénover — planifiez maintenant une capacité mixte de densité et de refroidissement plutôt qu’après coup.

Suivez les prix en direct et les benchmarks du marché pour les deux classes de charges de travail dans l’indice des prix de colocation et les statistiques du marché.