KI-Inferenz vs. Training: Unterschiedliche Infrastrukturanforderungen

Training und Inferenz sind nicht die gleiche Workload mit unterschiedlicher Hardware — sie benötigen unterschiedliche Einrichtungen. Training-Cluster konzentrieren Tausende hochwertiger GPUs auf einer Handvoll Mega-Campus mit 40–160+ kW pro Rack, InfiniBand-Fabrics und obligatorischer Flüssigkeitskühlung; Inferenz läuft auf weit zahlreicheren, kleineren, günstigeren Standorten nahe bei Endbenutzern, und nach den meisten 2026-Schätzungen macht sie jetzt ungefähr zwei Drittel aller KI-Rechenleistung aus.

Wichtigste Erkenntnisse

• Inferenz überholte Training bei der Rechenleistungsverteilung 2026. Schätzungen von Introl und AgentMarketCap sehen Inferenz bei etwa einem Drittel der KI-Rechenleistung 2023, ungefähr der Hälfte 2025 und etwa zwei Dritteln 2026.
• Leistungsdichte weicht stark ab. Training-Racks auf H100/B200/GB200-Hardware laufen mit 40–160+ kW, wobei Komponenten der nächsten Generation erwartet werden, 300 kW zu überschreiten. Inferenz-Racks laufen normalerweise mit 12–60 kW, obwohl große Reasoning-Modell-Inferenz auf die gleichen Training-Chips und -Dichten übergeht.
• Kühlung folgt Dichte, nicht dem Workload-Etikett. Jedes Rack über ungefähr 30–40 kW benötigt direkte Chip-Flüssigkeitskühlung oder Immersion, unabhängig davon, ob es trainiert oder bedient — siehe unseren Leitfaden zu Flüssigkeitskühlung.
• Training toleriert Entfernung; Inferenz nicht. Training ist ein Batch-Auftrag ohne Live-Nutzer, der wartet, also geht es dorthin, wo Strom am günstigsten ist. Inferenz bedient Echtzeit-Anfragen, also platzieren Anbieter sie in Metro-Märkten nahe bei Nutzern.
• Netzwerkanforderungen unterscheiden sich um eine Größenordnung in der Kostenempfindlichkeit. Training-Cluster rechtfertigen InfiniBand- oder 800G-Ethernet-Fabrics, die pro Port Tausende kosten; Inferenz-Workloads laufen meistens gut auf Standard-400G-Ethernet.
• Die Chip-Mischung divergiert auch. Training bleibt auf die höchsten Durchsatzkomponenten konzentriert; Inferenz verlagert sich zunehmend auf günstigere Beschleuniger (L40S, L4, TPUs, Custom-ASICs), die nach Kosten pro Token gewählt werden, nicht nach Spitzendurchsatz.
• Die Käufer-Konsequenz ist Kapazitätsplanung, nicht nur Chip-Auswahl. Bis 2030 sind sich die meisten Prognosen einig, dass Inferenz — nicht Training — die Workload ist, die die Rechenzentrum-Nachfrage dominiert.

Live Mietpreise pro GPU über beide Workload-Klassen hinweg sind in unserem GPU-Preisindex; Einrichtungsspezifikationen für Leistung und Kühlung pro Standort sind im Rechenzentrum-Katalog.

Warum die Aufteilung jetzt wichtig ist

Von 2023 bis 2024 bedeutete „KI-Rechenzentrum“ meistens eine Sache: ein Training-Cluster. Frontier-Labs trainierten immer größere Modelle auf Zehntausenden von GPUs, und die Infrastrukturkonversation war über diesen Aufbau — InfiniBand-Fabrics, Flüssigkeitskühlung, Gigawatt-Campus. Diese Konversation ist nicht mehr vollständig. Da Foundation-Modelle von der Forschung in die Produktion übergingen — Chatbots, Copilots, Agenten, Suche, Empfehlung — begann die Rechenleistung, die für die Beantwortung von Nutzeranfragen aufgewendet wurde, die Rechenleistung, die für den Aufbau des Modells aufgewendet wurde, zu überwiegen.

Branchenschätzungen von Introl und AgentMarketCap sehen Inferenz bei ungefähr einem Drittel der KI-Rechenleistung 2023, etwa der Hälfte bis 2025 und etwa zwei Drittel 2026. Die Ausgaben für Cloud-Inferenzinfrastruktur werden 2026 auf 20,6 Milliarden US-Dollar geschätzt, gegenüber 9,2 Milliarden US-Dollar 2025. Der Richtungskonsens über Analysten hinweg ist, dass Inferenz in den Rest des Jahrzehnts weiterhin Anteile gewinnt, wobei EdgeCore und Introl beide ungefähr 70 % der Rechenzentrum-Nachfrage durch Inferenz bis 2030 zitieren, und eine Langzeit-Kapazitätsprognose projiziert, dass Inferenz Training um 2033 überholt, auf dem Weg zu ungefähr 46 GW Kapazität bis 2035.

Für jeden, der Rechenzentrumskapazität kauft oder baut, ändert diese Verschiebung die RFP. Eine Einrichtung, die für Training-Wirtschaft ausgelegt ist — maximale Dichte, maximale Verbindungsbandbreite, minimale Sorge um End-Benutzer-Latenz — ist die falsche Spezifikation für eine Flotte von Inferenz-Standorten, die Millionen von Low-Latency-Anfragen aus Dutzenden von Metro-Märkten bedienen sollen.

Leistungsdichte: zwei Kurven, die an der Spitze konvergieren

Workload	Typische Rack-Dichte (2026)	Grund
Legacy-Inferenz (L4/L40S-Klasse)	12–30 kW	Kostenoptimierte Chips, luftgekühlt
High-End-Inferenz (große Reasoning-Modelle)	30–60 kW	Latenz- und Durchsatzanforderungen drücken auf Training-Hardware
Standard-Training (H100/H200)	40–100 kW	Multi-GPU-Knoten, NVLink-Domänen
Frontier-Training (B200/GB200 NVL72)	120–160+ kW	Rack-Scale NVLink-Domänen; Komponenten der nächsten Generation gehen zu 300+ kW

Quellen: EdgeCore, Introl und unseren eigenen Leitfaden zu Leistungsdichte, der die gemessene 130–132 kW-Leistung des GB200 NVL72 ausführlicher abdeckt.

Die zwei Kurven konvergieren an der Oberseite. Eine Reasoning-intensive Inferenz-Workload, die Multi-Step-Agenten-Anfragen bedient, läuft zunehmend auf dem gleichen H100- oder B200-Klassen-Silizium, das für Training verwendet wird, da die Rechenleistung pro Anfrage weit über das hinausgegangen ist, was ein leichter Inferenz-Chip wie der L4 wirtschaftlich handhaben kann. Das bedeutet, dass Einrichtungen, die nur für „Low-Density-Inferenz“ ausgelegt sind, bereits für einen aussagekräftigen Anteil des 2026-Inferenz-Verkehrs veraltet sind.

Kühlung: Dichte entscheidet, nicht das Workload-Etikett

Jedes Rack über ungefähr 30–40 kW benötigt direkte Chip-Flüssigkeitskühlung oder Immersion, ob es einen Training-Auftrag ausführt oder Inferenz-Anfragen bedient — Luftkühlung kann einfach so viel Wärme nicht wirtschaftlich entfernen. Die praktische Aufteilung 2026:

• Legacy- und Mid-Tier-Inferenz (L4, L40S, ältere A100-Flotten) bei 12–30 kW pro Rack bleibt auf Luftkühlung, oft mit Standard-Hot-Aisle-Containment.
• High-Density-Inferenz und alles moderne Training (H100 und höher) bei 40 kW und höher erfordert DLC oder Immersion als Basis-Design-Anforderung, keine Option.

Anbieter, die spezialisierte Training-Campus bauen, können sich auf eine Kühlarchitektur einigen. Inferenz-fokussierte Colocation-Anbieter müssen zunehmend beides unterstützen — luftgekühlte Hallen für Commodity-Inferenz und flüssiggekühlte Zonen für Reasoning-Modell- und Training-nahe Workloads — innerhalb der gleichen Einrichtung.

Netzwerk: InfiniBand-Wirtschaft reist nicht zur Inferenz

Training-Leistung ist durch die Geschwindigkeit gebunden, mit der Tausende von GPUs Gradienten über eine All-Reduce-Operation synchronisieren können, also ist die Netzwerk-Fabric ein Kosten-Treiber erster Ordnung, keine Nachgedanken:

Fabric	Effektive Bandbreite (8-Knoten H100-Cluster)	Latenz	Typische Verwendung
InfiniBand NDR 400G	~350 GB/s	~1–2 µs	Große Training-Cluster
Ethernet + RoCEv2 (400GbE)	~270–290 GB/s	~5–10 µs	Mid-Size-Training, High-End-Inferenz
Standard-Ethernet (400G)	Ausreichend für die meisten Inferenz	In dieser Skala nicht latenzabhängig	Commodity-Inferenz

Daten von Introl und Lightyear aus veröffentlichten NCCL-Benchmarks zusammengestellt.

InfiniBands Latenz- und Bandbreitenvorteil ist wichtig für Training, da eine langsame Verbindung bei jedem Synchronisierungsschritt Tausende von GPUs auf einmal staut — die Kosten der Unterversorgung des Netzwerks verteilen sich über den gesamten Cluster für die Lebensdauer des Training-Laufs. Inferenz hat diesen All-Reduce-Engpass nicht auf die gleiche Weise: KV-Cache-Übertragung und Anfrage-Routing sind viel weniger empfindlich für Latenz auf Mikrosekunden-Ebene, also ist InfiniBand selten kostengerechtfertigt. 800G-Ethernet-Fabrics dominierten AI-Cluster-Switch-Lieferungen 2025 und werden erwartet, InfiniBand am unteren und mittleren Ende von Training- und Inferenz-Bereitstellungen bis 2026 weiterhin zu verdrängen, während InfiniBand das Extremskala-Training-Segment behält.

Geographie: Training geht zur Leistung, Inferenz geht zu Nutzern

Dies ist der deutlichste Betriebsunterschied. Training ist ein geplanter Batch-Auftrag — niemand wartet in Echtzeit auf einen einzelnen Token, also optimieren Anbieter für die günstigste verfügbare Leistung und Land, auch wenn das ländlich Wyoming, entfernt Malaysia oder einen dedizierten kernnahen Campus bedeutet. Siehe unsere Leitfäden zu Stromnetz-Verbindungs-Warteschlangen und SMR/Kernkraft für Rechenzentren für warum Training-Campus zunehmend Stromverfügbarkeit über Nähe verfolgen.

Inferenz ist das gegenteilige Problem. Eine Chatbot- oder Copilot-Antwort hat einen Nutzer am anderen Ende, der unter einer Sekunde wartet, und die Round-Trip-Zeit des Netzwerks wächst mit der physikalischen Entfernung. Cloud-Regionen können normalerweise Inferenz im 10–50ms-Bereich liefern, abhängig von Payload und Netzwerkpfad, was für die meisten Konversationsanwendungen angemessen ist — aber diese Zahl verschlechtert sich, wenn die Entfernung vom Bevölkerungszentrum wächst, weshalb Hyperscaler Inferenz-Kapazität über Dutzende bis Hunderte von Metro-benachbarten Standorten statt einer Handvoll Mega-Campus bereitstellen. Dies ist die gleiche Logik, die in unserem Leitfaden zu Edge-Computing-Anwendungsfällen abgedeckt ist: Inferenz ist die Workload-Klasse, die tatsächlich die meisten Edge-KI-Bereitstellungen rechtfertigt, während Training im Wesentlichen nie.

Chip-Auswahl: Durchsatz für Training, Kosten pro Anfrage für Inferenz

Chip	On-Demand-Rate (Median, 2026)	Primäre Rolle
NVIDIA GB200 (pro GPU)	~$18.79/hr	Frontier-Training
NVIDIA B200	~$6.99/hr	Training, High-End-Inferenz
NVIDIA H100	~$3.30/hr	Training, Reasoning-Modell-Inferenz
NVIDIA L40S	~$0.90/hr	Kostenoptimierte Inferenz

Tarife aus dem Coloprice GPU-Preisindex, aktualisiert 2026-08-24; Bereiche pro Anbieter variieren weit über den hier gezeigten Median hinaus.

Training kauft fast immer die höchsten verfügbaren Durchsatzkomponenten, da die Training-Kosten von der Wanduhrzeit bei teuren Multi-GPU-Aufträgen dominiert werden — eine schnellere Komponente, die den Lauf früher beendet, ist die Prämie wert. Inferenz optimiert die gegenteilige Variable: Kosten pro Token oder Kosten pro Anfrage bei welcher Latenz auch immer die Anwendung erfordert. Das ist, warum ein großer Teil der Produktions-Inferenz immer noch auf L40S- oder L4-Klassen-Hardware läuft, und warum Inferenz-optimiertes Silizium — Google TPUs, AWS Inferentia und Custom-ASICs von Hyperscalern — speziell in Inferenz Boden gewonnen hat, wo Google öffentlich einen wesentlichen Preis-Leistungs-Vorteil für seine TPU-Flotte bei Inferenz-Workloads zitiert hat. Reasoning-intensive Inferenz ist die Ausnahme, die die Chip-Auswahl zurück zu Training-Klassen-Hardware zieht, da Multi-Step-Agenten-Anfragen eine Größenordnung mehr Rechenleistung pro Anfrage verbrauchen können als ein Single-Pass-Chat-Completion.

Was das für Colocation-Käufer bedeutet

1. Spezifizieren Sie Inferenz-Kapazität nicht wie einen Training-Cluster. Überbuilding von InfiniBand-Fabrics und 100%-flüssiggekühlten Hallen für eine Workload, die meistens Commodity-Inferenz ist, verschwendet Kapital, das nichts in Latenz oder Durchsatz kauft, den die Anwendung wirklich benötigt.
2. Unterbuilden Sie auch nicht für Reasoning-Modell-Inferenz. Wenn Ihre Inferenz-Workload Agenten oder Multi-Step-Reasoning umfasst, budgetieren Sie für Training-benachbarte Dichte (40 kW+) und Flüssigkeitskühlung-Bereitschaft, nicht die 12–30 kW Luftkühl-Basis.
3. Platzieren Sie Training für Leistung, Inferenz für Nutzer. Nutzen Sie den Rechenzentrum-Katalog, um leistungsreiche Sekundärmärkte für Training gegen Metro-Märkte mit besserer Konnektivität für Inferenz zu vergleichen; die zwei Standortauswahl-Probleme zeigen selten auf die gleiche Einrichtung.
4. Modellieren Sie Gesamtkosten pro Workload, nicht pro GPU-Stunde. Ein günstigerer Inferenz-Chip mit schlechtererem Token-pro-Watt kann gegen einen teureren verlieren, wenn Stromkosten einbezogen werden — fordern Sie Angebote für beide Konfigurationen durch unseren Angebots-Service an, anstatt anzunehmen, dass der niedrigere Aufkleberpreis gewinnt.
5. Erwarten Sie, dass die Einrichtungsanforderungen an der Oberseite weiterhin konvergieren. Da Reasoning-Modelle mehr Inferenz auf Training-Klassen-Hardware drücken, werden Colocation-Anbieter, die nur für einen Workload-Typ gebaut haben, sich selbst umrüsten finden — planen Sie jetzt Misch-Dichte, Misch-Kühlung-Kapazität, anstatt danach.

Verfolgen Sie Live-Preisgestaltung und Markt-Benchmarks für beide Workload-Klassen im Colocation-Preisindex und Markt-Statistiken.