Inférence IA vs entraînement : des besoins d'infrastructure différents

L’entraînement et l’inférence ne sont pas la même charge de travail sous un matériel différent — ils exigent des installations différentes. Les clusters d’entraînement concentrent des milliers de GPU haut de gamme dans une poignée de méga-campus à 40-160+ kW par baie avec des fabrics InfiniBand et un refroidissement liquide obligatoire ; l’inférence tourne sur des sites bien plus nombreux, plus petits et moins chers, près des utilisateurs finaux, et selon la plupart des estimations de 2026 elle représente désormais environ les deux tiers de tout le calcul IA.

Points clés

• L’inférence a dépassé l’entraînement en part de calcul au cours de 2026. Les estimations compilées par Introl et AgentMarketCap situent l’inférence à environ un tiers du calcul IA en 2023, environ la moitié en 2025 et environ les deux tiers en 2026.
• La densité de puissance diverge fortement. Les baies d’entraînement sur du matériel H100/B200/GB200 tournent à 40-160+ kW, et les composants de nouvelle génération devraient dépasser 300 kW. Les baies d’inférence tournent généralement à 12-60 kW, même si l’inférence des grands modèles de raisonnement glisse progressivement vers les mêmes puces et les mêmes densités que l’entraînement.
• Le refroidissement suit la densité, pas l’étiquette de la charge de travail. Toute baie au-dessus d’environ 30-40 kW exige un refroidissement liquide direct sur puce ou par immersion, qu’elle entraîne ou qu’elle serve — voir notre guide de refroidissement liquide.
• L’entraînement tolère la distance ; l’inférence non. L’entraînement est un traitement par lots sans utilisateur qui attend en direct ; il va donc là où l’électricité est la moins chère. L’inférence sert des requêtes en temps réel ; les opérateurs l’implantent donc sur les marchés métropolitains, près des utilisateurs.
• Les exigences de réseau diffèrent d’un ordre de grandeur en matière de sensibilité aux coûts. Les clusters d’entraînement justifient des fabrics InfiniBand ou Ethernet 800G à plusieurs milliers de dollars le port ; les charges d’inférence tournent pour l’essentiel très bien en Ethernet 400G standard.
• Le mix de puces diverge aussi. L’entraînement reste concentré sur les composants au débit le plus élevé ; l’inférence se tourne de plus en plus vers des accélérateurs moins chers (L40S, L4, TPU, ASIC sur mesure) choisis pour le coût par token, pas pour le débit de pointe.
• Pour l’acheteur, l’enjeu est la planification de capacité, pas seulement le choix des puces. D’ici 2030, la plupart des prévisions s’accordent : c’est l’inférence — et non l’entraînement — qui dominera la demande des centres de données.

Les tarifs de location par GPU en direct pour les deux classes de charges de travail sont dans notre indice des prix des GPU ; les caractéristiques électriques et de refroidissement site par site sont dans le catalogue des centres de données.

Pourquoi cette distinction compte aujourd’hui

En 2023-2024, « centre de données IA » voulait surtout dire une chose : un cluster d’entraînement. Les laboratoires de pointe entraînaient des modèles toujours plus grands sur des dizaines de milliers de GPU, et la discussion sur l’infrastructure tournait autour de cette construction — fabrics InfiniBand, refroidissement liquide, campus à l’échelle du gigawatt. Cette discussion n’est plus complète. À mesure que les modèles de fondation sont passés de la recherche à la production — chatbots, copilotes, agents, recherche, recommandation — le calcul consacré à répondre aux requêtes des utilisateurs a commencé à dépasser celui consacré à construire le modèle.

Les estimations de part de calcul du secteur compilées par Introl et AgentMarketCap situent l’inférence à environ un tiers du calcul IA en 2023, environ la moitié en 2025 et environ les deux tiers en 2026. Les dépenses d’infrastructure d’inférence cloud sont estimées à 20,6 milliards de dollars en 2026, contre 9,2 milliards de dollars en 2025. Les analystes convergent sur la direction : l’inférence continue de gagner des parts jusqu’à la fin de la décennie, EdgeCore et Introl citant tous deux environ 70 % de la demande des centres de données issue de l’inférence d’ici 2030, et une prévision de capacité à long terme voyant l’inférence dépasser l’entraînement vers 2033, en route vers environ 46 GW de capacité dédiée en 2035.

Pour quiconque achète ou construit de la capacité de centre de données, ce basculement change l’appel d’offres. Une installation dimensionnée pour l’économie de l’entraînement — densité maximale, bande passante d’interconnexion maximale, souci minimal de la latence utilisateur — est la mauvaise spécification pour un parc de sites d’inférence censés servir des millions de requêtes à faible latence depuis des dizaines de marchés métropolitains.

Densité de puissance : deux courbes qui convergent par le haut

Charge de travail	Densité par baie typique (2026)	Facteur
Inférence classique (classe L4/L40S)	12-30 kW	Puces optimisées pour le coût, refroidies par air
Inférence haut de gamme (grands modèles de raisonnement)	30-60 kW	Les exigences de latence et de débit poussent vers du matériel de classe entraînement
Entraînement standard (H100/H200)	40-100 kW	Nœuds multi-GPU, domaines NVLink
Entraînement frontière (B200/GB200 NVL72)	120-160+ kW	Domaines NVLink à l’échelle de la baie ; composants de nouvelle génération vers 300+ kW

Sources : EdgeCore, Introl, et notre propre guide de densité de puissance, qui détaille la consommation mesurée de 130-132 kW du GB200 NVL72.

Les deux courbes convergent par le haut. Une charge d’inférence à forte composante de raisonnement, qui sert des requêtes d’agents en plusieurs étapes, tourne de plus en plus sur le même silicium de classe H100 ou B200 que l’entraînement, parce que le calcul par requête a largement dépassé ce qu’une puce d’inférence légère comme la L4 peut traiter de façon rentable. Autrement dit, les installations conçues uniquement pour « l’inférence basse densité » sont déjà obsolètes pour une part significative du trafic d’inférence de 2026.

Refroidissement : c’est la densité qui décide, pas l’étiquette de la charge de travail

Toute baie qui dépasse environ 30-40 kW exige un refroidissement liquide direct sur puce ou par immersion, qu’elle exécute un entraînement ou serve des requêtes d’inférence — le refroidissement par air ne peut tout simplement pas évacuer autant de chaleur de façon rentable. En pratique, en 2026 :

• L’inférence classique et de milieu de gamme (L4, L40S, anciens parcs A100) à 12-30 kW par baie reste en refroidissement par air, souvent avec un confinement d’allée chaude standard.
• L’inférence à haute densité et tout entraînement moderne (H100 et plus) à 40 kW et plus exige le DLC ou l’immersion comme prérequis de conception, pas comme option.

Les opérateurs qui construisent des campus dédiés à l’entraînement peuvent se standardiser sur une seule architecture de refroidissement. Les fournisseurs de colocation orientés inférence doivent de plus en plus prendre en charge les deux — des salles refroidies par air pour l’inférence courante et des zones refroidies par liquide pour les modèles de raisonnement et les charges proches de l’entraînement — dans la même installation.

Réseau : l’économie d’InfiniBand ne se transpose pas à l’inférence

Les performances d’entraînement sont bornées par la vitesse à laquelle des milliers de GPU synchronisent leurs gradients lors d’une opération all-reduce ; le fabric réseau est donc un facteur de coût de premier ordre, pas une réflexion après coup :

Fabric	Bande passante effective (cluster H100 de 8 nœuds)	Latence	Usage typique
InfiniBand NDR 400G	~350 GB/s	~1-2 µs	Grands clusters d’entraînement
Ethernet + RoCEv2 (400GbE)	~270-290 GB/s	~5-10 µs	Entraînement de taille moyenne, inférence haut de gamme
Ethernet standard (400G)	Suffisant pour la plupart des inférences	Latence non critique à cette échelle	Inférence courante

Données compilées par Introl et Lightyear à partir des benchmarks NCCL publiés.

L’avantage d’InfiniBand en latence et en bande passante compte pour l’entraînement parce qu’une interconnexion lente bloque des milliers de GPU d’un coup à chaque étape de synchronisation — le coût d’un réseau sous-dimensionné se cumule sur tout le cluster pendant toute la durée de l’entraînement. L’inférence n’a pas ce goulet d’étranglement all-reduce de la même manière : le transfert de cache KV et le routage des requêtes sont bien moins sensibles à la latence à l’échelle de la microseconde, et InfiniBand se justifie donc rarement sur le plan des coûts. Les fabrics Ethernet 800G ont dominé les livraisons de commutateurs pour clusters IA en 2025 et devraient continuer à remplacer InfiniBand dans le bas et le milieu de gamme des déploiements d’entraînement comme d’inférence en 2026, InfiniBand conservant le segment de l’entraînement à très grande échelle.

Géographie : l’entraînement va vers l’électricité, l’inférence vers les utilisateurs

C’est la différence opérationnelle la plus frappante. L’entraînement est un traitement par lots planifié — personne n’attend un token en temps réel, les opérateurs optimisent donc l’électricité et le foncier les moins chers disponibles, quitte à aller dans le Wyoming rural, la Malaisie reculée ou un campus dédié adossé au nucléaire. Voir nos guides sur les files d’attente de raccordement au réseau et les SMR et le nucléaire pour les centres de données pour comprendre pourquoi les campus d’entraînement courent de plus en plus après la disponibilité électrique plutôt qu’après la proximité.

L’inférence pose le problème inverse. Une réponse de chatbot ou de copilote a, à l’autre bout, un utilisateur qui attend moins d’une seconde, et le temps d’aller-retour réseau croît avec la distance physique. Les régions cloud servent généralement l’inférence en 10-50 ms selon la charge utile et le chemin réseau, ce qui convient à la plupart des applications conversationnelles — mais ce chiffre se dégrade à mesure qu’on s’éloigne du bassin de population, et c’est pourquoi les hyperscalers répartissent la capacité d’inférence sur des dizaines, voire des centaines de sites proches des métropoles plutôt que sur une poignée de méga-campus. C’est la logique de notre guide des cas d’usage de l’edge computing : l’inférence est la classe de charge de travail qui justifie réellement la plupart des déploiements d’IA en edge, alors que l’entraînement ne le fait pratiquement jamais.

Choix des puces : le débit pour l’entraînement, le coût par requête pour l’inférence

Puce	Tarif à la demande (médiane, 2026)	Rôle principal
NVIDIA GB200 (par GPU)	~18,79 $/h	Entraînement frontière
NVIDIA B200	~6,99 $/h	Entraînement, inférence haut de gamme
NVIDIA H100	~3,30 $/h	Entraînement, inférence de modèles de raisonnement
NVIDIA L40S	~0,90 $/h	Inférence optimisée pour le coût

Tarifs de l’indice des prix des GPU Coloprice, mis à jour le 2026-08-24 ; les fourchettes par fournisseur s’écartent largement de la médiane indiquée ici.

L’entraînement achète presque toujours la puce au débit le plus élevé disponible, parce que son coût est dominé par le temps écoulé sur un traitement multi-GPU coûteux — une puce plus rapide qui termine le run plus tôt vaut son surcoût. L’inférence optimise la variable inverse : le coût par token ou par requête, à la latence qu’exige l’application. C’est pourquoi une large part de l’inférence en production tourne encore sur du matériel de classe L40S ou L4, et pourquoi le silicium optimisé pour l’inférence — TPU de Google, AWS Inferentia et ASIC sur mesure des hyperscalers — a gagné du terrain précisément en inférence, où Google a publiquement revendiqué un net avantage de rapport prix-performance pour son parc de TPU. L’inférence à forte composante de raisonnement est l’exception qui ramène le choix des puces vers le matériel de classe entraînement, car des requêtes d’agents en plusieurs étapes peuvent consommer un ordre de grandeur de calcul de plus par requête qu’une complétion de chat en une passe.

Ce que cela signifie pour les acheteurs de colocation

1. Ne spécifiez pas la capacité d’inférence comme un cluster d’entraînement. Surdimensionner des fabrics InfiniBand et des salles 100 % refroidies par liquide pour une charge qui est surtout de l’inférence courante gaspille du capital sans rien apporter en latence ni en débit dont l’application ait réellement besoin.
2. Ne sous-dimensionnez pas non plus pour l’inférence des modèles de raisonnement. Si votre charge d’inférence comprend des agents ou du raisonnement en plusieurs étapes, budgétez une densité proche de l’entraînement (40 kW+) et une préparation au refroidissement liquide, pas la base de 12-30 kW refroidie par air.
3. Implantez l’entraînement selon l’électricité, l’inférence selon les utilisateurs. Utilisez le catalogue des centres de données pour comparer les marchés secondaires riches en électricité pour l’entraînement et les marchés métropolitains mieux connectés pour l’inférence ; les deux problèmes de choix de site désignent rarement la même installation.
4. Modélisez le coût total par charge de travail, pas par heure-GPU. Une puce d’inférence moins chère mais moins efficace en tokens par watt peut perdre face à une puce plus chère une fois l’électricité comptée — demandez des devis pour les deux configurations via notre service de devis plutôt que de supposer que le prix catalogue le plus bas l’emporte.
5. Attendez-vous à ce que les exigences des installations continuent de converger par le haut. À mesure que les modèles de raisonnement poussent davantage d’inférence vers du matériel de classe entraînement, les fournisseurs de colocation qui n’ont construit que pour un seul type de charge devront se mettre à niveau — prévoyez dès maintenant une capacité à densités et refroidissements mixtes, plutôt qu’après coup.

Suivez les prix en direct et les benchmarks de marché pour les deux classes de charges de travail dans l’indice des prix de colocation et les statistiques du marché.