Nvidias Vera Rubin überzeugt im MLPerf-Debüt, ersetzt aber keine Messung im eigenen Betrieb

Nvidia meldet im Blog vom 16. September 2026, die Plattform Vera Rubin NVL72 erreiche in ihrer Preview-Einreichung zu MLPerf Inference v6.1 bis zu 3,7-fachen Durchsatz gegenüber GB300 NVL72. Vier GB300-Racks skalieren laut Quelle mit 99 Prozent Effizienz. Beide Werte stammen aus einer Vorabeinreichung unter Laborregeln und taugen nicht als alleinige Grundlage für Investitionsentscheidungen.

Der erste Eintrag liefert Spitzenwerte unter standardisierten Laborregeln

Vera Rubin NVL72 wurde auf zwei der anspruchsvollsten Tests der Suite eingereicht, DeepSeek-R1 und Qwen3-VL, und liegt dort deutlich vor GB300 NVL72. Auf Qwen3-VL beträgt der Vorsprung bis zu 3,7-fach, und zwar über die Szenarien Offline, Server und Interactive, gemessen mit vLLM und Nvidia Dynamo. Auf DeepSeek-R1 sind es bis zu 2,5-fach mit TensorRT-LLM. „Bis zu“ meint den Spitzenwert über alle Szenarien, nicht jeden einzelnen Modus.

Nvidia stützt sich auf Ergebnisse der Closed Division, in der Modelle und Regeln fest vorgegeben sind, damit Plattformen vergleichbar bleiben. Die Werte wurden am 16. September 2026 auf mlcommons.org abgerufen, genannt werden unter anderem die Einträge 6.1-0106, 6.1-0074 und 6.1-0073. MLPerf Inference ist ein Industriestandard der MLCommons Association, Benchmark-Namen und Logos sind deren Marken.

Auch Nebius reichte Vorabergebnisse für Vera Rubin ein. An der Runde beteiligten sich 19 Partner, acht davon mit Blackwell-NVL72-Systemen aus mehreren Knoten. Das zeigt Verfügbarkeit jenseits eines einzelnen Anbieters, und Einkäufer sollten Zweitlieferanten prüfen, sobald Termine für die allgemeine Verfügbarkeit vorliegen.

Nach Darstellung von Nvidia bestimmen drei Hebel die Wirtschaftlichkeit der Inferenz: die Systemleistung, die Skalierungseffizienz und die Softwaregeschwindigkeit, also mehr Nutzen aus bereits gekaufter Hardware. Hinzu kommt der Verweis auf eine Plattform für Training und Inferenz, für Sprache und Video. Auch die Aussage, jedes Rack liefere mehr Token, bediene mehr Nutzer und erwirtschafte bei geringeren Kosten pro Token mehr Umsatz, ist Herstellerrahmen. Eine unabhängige Wirtschaftlichkeitsrechnung liegt nicht vor.

Der Faktor 3,7 schrumpft, sobald Produktionsbedingungen gelten

Hält der Laborfaktor im Betrieb nicht, verschiebt sich die benötigte Hardwaremenge erheblich. Ein Zahlenspiel ohne Preise, denn der Blog nennt keine: Ein Cluster braucht unter der zugesagten Dienstgüte (Service-Level-Objective, kurz SLO) die Leistung von zehn GB300-Racks. Bei stabilem Faktor 3,7 genügen dafür rund 2,7 Vera-Rubin-Racks. Liegt der wirksame Faktor nach Abschlägen für Latenz und Mischlast bei 2,2, sind es rund 4,5 Racks. Die Differenz zwischen 2,7 und 4,5 Racks ist der Investitionsbetrag, den die Lücke zwischen Vorabwert und Wirklichkeit kostet.

Ohne eigene Messung des Abschlags planen viele Teams mit 2,7 Racks und betreiben später 4,5 oder verfehlen die Dienstgüte. Der Vorabwert taugt deshalb als Obergrenze der Erwartung, ein Wiederholungslauf der eigenen Anfragen als Untergrenze der Planung. Wer Enterprise-KI-Kosten schon einmal gegen Lizenz und Hardware gelegt hat, kennt den Unterschied zwischen Demo-Durchsatz und belastbarer Stückkostenrechnung.

Nach Ansicht der Redaktion ist MLPerf die beste gemeinsame Sprache der Branche, aber keine Ausschreibung. Die Folie zeigt 3,7-fach, die Betriebsabrechnung zeigt Auslastung, Ausschuss und Warteschlangen.

Die 99 Prozent Skalierungseffizienz gelten für GB300-Racks im Offline-Betrieb

Von einem GB300 NVL72 mit 72 Grafikprozessoren auf vier Racks mit 288 Grafikprozessoren erreicht die DeepSeek-R1-Einreichung im Offline-Szenario 99 Prozent Skalierungseffizienz. Der Durchsatz wächst damit nahezu proportional zur Hardware, ideal wären 100 Prozent. Laut Blog ist die Skalierungseffizienz eine Schlüsselgröße: Brächte doppelte Hardware nur einen einstelligen prozentualen Zuwachs, fräßen die Investitionen die Rendite auf.

Der Wert gilt für GB300-Racks untereinander. Er gilt nicht automatisch für gemischte Flotten aus Vera Rubin und GB300 und nicht automatisch für die Latenzklassen Server und Interactive. Vier Racks bei 99 Prozent entsprechen rund 3,96 Rack-Leistungen. Das Produkt aus 3,7 und 3,96 stammt aus keiner Einreichung und wäre eine unzulässige Hochrechnung über verschiedene Generationen und Benchmark-Stränge. Beide Stränge bleiben getrennt.

Hardwareseitig mag die Linearität gelten, organisatorisch bremsen Kontingente, Teamgrenzen und die Sorge vor störenden Nachbarlasten. Bei 60 Prozent Auslastung bleiben von den rund 3,96 Leistungseinheiten etwa 2,4. Die Architektur kann linear, die Governance entscheidet, ob sie es tut. Fragmentierung sollte behoben sein, bevor der nächste Generationssprung als Ersatztherapie gebucht wird.

Dieses Bild wurde mit KI generiertProviderhiggsfieldModellgpt_image_2PromptLab whiteboard with abstract rack scaling diagram as soft shapes not numbers, coffee and notebook, photorealistic research office, no logos, no brand names, no readable text, 16:9

Zwischen Vorabeinreichung und Produktion liegt eine Lücke, die nur eigene Messungen schließen

Eine Preview ist eine frühe Plattform in einer oft aggressiv abgestimmten Closed-Division-Konfiguration. Der Produktionsbetrieb verlangt dagegen Latenz im 95. und 99. Perzentil, niedrige Fehlerraten, Fairness zwischen Teams, Mischlast, Wartungsfenster, Strom- und Kühlbudgets sowie das Routing mehrerer Modelle. Die Closed Division eignet sich für Herstellervergleiche, aber nicht als Abbild nachtrainierter Modelle, Schutzfilter und Werkzeugaufrufe. Jede zusätzliche Prüfung, jede Datenabfrage und jeder Agentenschritt kostet Decode-Zeit, während MLPerf Offline schlicht den Durchsatz maximiert.

Die drei Szenarien liefern unterschiedliche Wahrheiten. Offline maximiert den Durchsatz ohne strenge Latenzgrenzen, Server und Interactive binden Latenzvorgaben. Verlangt die eigene Dienstgüte etwa 200 Millisekunden bis zum ersten Token und stabile Latenz unter Last, und besteht die Last aus langen Eingaben und kurzen Chats, schrumpft der Faktor. Der effektive Wert unter Interactive kann unter dem Spitzenwert liegen, ohne dass die Einreichung falsch wäre. Sinnvoll sind drei Zellen für Offline, Server und Interactive, jeweils aus denselben Eintragsnummern.

Der Faktor 3,7 schrumpft besonders in diesen Fällen:

• Vorabeinreichung und Betrieb nutzen unterschiedliche Serving-Stacks, etwa Dynamo im Labor und eine Eigenentwicklung im Rechenzentrum.
• Das eigene Modell ist weder Qwen3-VL noch DeepSeek-R1, und die Anteile von Mixture-of-Experts und Bildverarbeitung weichen ab.
• Mehrmandantenbetrieb und Kontingente zerstückeln den Pfad der 99 Prozent Skalierungseffizienz.
• Strom, Kühlung und Stellfläche verhindern den Betrieb von vier Racks.

Nvidia führt die Ergebnisse auf das Zusammenspiel von Hardware und Software zurück: verbesserte Tensor Cores und Transformer Engine für Prefill und Decode, das Zahlenformat NVFP4 zur Senkung des Speicherbedarfs bei Gewichten, Attention und KV-Cache, getrenntes Bereitstellen beider Phasen sowie groß angelegte Expertenparallelität für die Mixture-of-Experts-Schichten. Im Rack verbindet die sechste Generation von NVLink mit NVLink Switch die Grafikprozessoren, laut Nvidia mit zehnfach höheren Paketraten und dreifach niedrigerer Latenz als Standard-Ethernet. Das sind Herstellerangaben.

Der Faktor ist damit kein reiner Siliziumsprung, Softwarestack und Rack-Verbund tragen ihren Teil. Das getrennte Bereitstellen von Prefill und Decode steigert die Effizienz bei Mixture-of-Experts-Modellen und langen Kontexten, verdoppelt aber Pfade, Skalierungsregeln und Fehlerbereiche. Wer die Reife von Dynamo, vLLM und TensorRT-LLM ignoriert, unterschätzt den Integrationsaufwand bis zur Dienstgüte. Auch Betriebskosten für Orchestrierung und Zuverlässigkeitsteams gehören in die Rechnung. Zum Betriebsmodell passen die Überlegungen zu KI-Regeln in Unternehmen, denn mehr Leistung ohne Betriebsmodell ist nur eine schnellere Fehlerkette.

Nvidia schreibt, NVFP4 erhöhe den Durchsatz bei minimalem Qualitätsverlust der Ausgaben. Minimal ist eine qualitative Angabe. Für regulierte Bereiche wie Finanzen, Medizin und Recht braucht es eigene Qualitätsprüfungen, sonst wird eine Quantisierung, die Benchmarks übersteht und Compliance-Prüfungen nicht, zum teuren Irrtum.

Mehr Token pro Rack senken die Kosten pro Token nur, wenn Strom und Kühlung mithalten. Ist das Rechenzentrum bei GB300-Dichte schon am Limit, ändert höherer Durchsatz die Stellflächenrechnung, nicht automatisch die Rechnung für die Stromstärke. Hinzu kommt die Verfügbarkeit: Preview-Hardware kann bei Lieferzeiten, Zuteilung und Support anders laufen als die GB300-Produktion. Ein Faktor von 3,7 auf dem Papier hilft wenig, wenn das Einführungsfenster sechs Monate später liegt und die Nutzerlast schon nächste Woche kippt.

Vor der Freigabe zählen Software-Alternativen, Agententests und fünf Prüfpunkte

Allein durch Software hat sich GB300 seit Version 6.0 auf Qwen3-VL um bis zu das 1,6-Fache beschleunigt. Dazu trugen niedrigere KV-Cache-Präzision, Kernel-Fusion, bessere Kernel und getrenntes Bereitstellen mit vLLM und Dynamo bei. Wer auf GB300 an einen Engpass stößt und wegen 3,7-fach Vera Rubin erwägt, sollte zuerst prüfen, ob 1,6-fach plus bessere Orchestrierung die Lücke schließt. Die Gewinne sind allerdings workloadspezifisch: Was auf Qwen3-VL 1,6-fach bringt, bringt auf einem eigenen nachtrainierten Modell vielleicht 1,1-fach.

Weitere Gewinne nach Einreichungsschluss auf GPT-OSS-120B und DLRMv3 sind noch nicht von MLCommons verifiziert. Für Ausschreibungen zählen verifizierte Werte schwerer, Software bleibt eine Option und kein bereits gebuchter Ersatz für Hardware. Manchmal ist das Warten richtig, manchmal die Ausrede, Altlasten bei der Dienstgüte auszusitzen. Wiederholungsläufe mit eigenen Anfragen unterscheiden beides, Blogabsätze nicht.

Nvidia nennt außerdem SemiAnalysis AgentX: Vera Rubin NVL72 erreiche in Preview-Tests 30-fach bessere Leistung als GB300. Dieser Wert stammt aus einem separaten Preview außerhalb der MLPerf Closed Division und gehört nicht in dieselbe Tabellenzelle wie 3,7. MLPerf Endpoints soll agentische Lasten standardisieren. Für KI-Agenten in Unternehmen zeigt sich, dass Durchsatz allein mehrstufiges Schlussfolgern schlecht misst.

Für das Videomodell WAN 2.2 nennt der Blog auf GB300 0,65 Videos in 720p pro Sekunde und 5,7 Sekunden je Video, dazu neunfachen Durchsatz und den Faktor 7,5 bei der Latenz gegenüber einem einzelnen Knoten. Parallel reicht Nvidia den Jetson AGX Thor im neuen Edge-Agentic-Benchmark mit Qwen3.6-27B ein. Diese Edge-Werte lösen keine Fragen der Rechenzentrumsplanung, sie zeigen nur, dass dieselbe Herstellererzählung über viele Bauformen gespannt wird.

Vor einer Investitionsfreigabe sollten Controlling und Einkauf diese fünf Punkte belegen können:

1. Benchmark-Name, Zahlenformat und Szenario stimmen überein, die Eintragsnummern hinter dem Faktor 3,7 sind bekannt, und das Modell entspricht dem eigenen Produktionsmix.
2. Der Faktor gilt unter der eigenen Interactive-Dienstgüte und nicht nur im Offline-Betrieb.
3. Die 99 Prozent Skalierungseffizienz sind für die eigene Flottengröße und den eigenen Orchestrator gemessen, nicht nur für die Konfiguration der Einreichung.
4. Die Kosten pro Token enthalten Strom, Kühlung und Abschreibung, und der Zeitplan bis zur allgemeinen Verfügbarkeit samt Software-Gleichstand steht fest.
5. Ein Ausweichplan für verspätete Lieferung liegt vor, einschließlich der Prüfung, ob die 1,6-fache Software-Beschleunigung auf GB300 die Dienstgüte hält.

Wer alle fünf Punkte belegen kann und dennoch kauft, kauft bewusst. Wer mehrere nur ungefähr beantwortet, kauft eine Erzählung. Die Einreichung taugt als Eingangswert der Planung, die Lückenanalyse zur eigenen Dienstgüte ersetzt sie nicht. Spitzenwert und Produktionswert gehören in getrennte Spalten, dieselbe Disziplin gilt beim Thema KI-Datenschutz und Vertraulichkeit, wo starke Funktionen ohne Governance wenig wert sind.