MLPerf v5.1 Benchmarks: NVIDIA Blackwell Ultra GB300 gegen AMD Instinct MI355X

Die neue Runde der MLPerf v5.1 AI Inference Benchmarks ist da und bringt ordentlich Bewegung in die Welt der Beschleunigerchips. Im Rampenlicht stehen dieses Mal die NVIDIA Blackwell Ultra GB300 und die AMD Instinct MI355X – beides Flaggschiffe, die zeigen sollen, wie weit die Hersteller ihre Plattformen inzwischen optimiert haben.

Intel schickt zwar auch die Arc Pro B60 ins Rennen, doch der wahre Showdown fand zwischen NVIDIA und AMD statt.

NVIDIA Blackwell Ultra GB300 setzt gleich zu Beginn ein Ausrufezeichen. Im DeepSeek R1 (Offline) Test erreicht ein Cluster mit 72 GPUs 420.569 Samples pro Sekunde, während der Vorgänger GB200 nur 289.712 schafft – ein Plus von 45% und fast exakt das, was NVIDIA versprochen hatte. Selbst in kleineren Setups mit 8 GPUs liegt die GB300 mit 48.047 Samples pro Sekunde ganze 44% vor der GB200. Praktisch heißt das: deutlich schnellere Trainings- und Inferenzzyklen bei niedrigerer Latenz.

Auch im DeepSeek R1 (Server) Modus, wo dynamische Anfragen getestet werden, behält die GB300 die Nase vorn: +25% bei 72 GPUs und +21% bei 8 GPUs. Für Unternehmen, die interaktive KI-Services wie Chatbots oder Empfehlungssysteme betreiben, sind solche Sprünge entscheidend, weil sie mehr Anfragen parallel bedienen können, ohne die Infrastruktur auszuweiten.

AMD Instinct MI355X wollte beweisen, dass sie ernsthaft mithalten kann – und hat geliefert. Im Llama 3.1 405B (Offline) Benchmark erzielte ein Setup mit 8 GPUs 2.109 Tokens pro Sekunde, ganze 27% mehr als der GB200. Ein klarer Fingerzeig, dass AMD nicht nur mitspielt, sondern in bestimmten Bereichen richtig Druck macht.

Richtig eindrucksvoll wurde es beim Llama 2 70B (Offline). Mit 64 GPUs lieferte die MI355X 648.248 Tokens pro Sekunde, bei 32 GPUs waren es 350.820 und bei 8 GPUs immerhin 93.045. Zum Vergleich: der GB200 (8 GPUs) kam nur auf 65.770. Damit verdoppelte AMD die Performance der NVIDIA-Plattform – ein starkes Signal, dass die MI355X gerade bei großen Sprachmodellen glänzen kann.

Die Intel Arc Pro B60 darf man nicht ganz unterschlagen. Zwar sind ihre Werte mit rund 3.009 Tokens/s im Llama 2 70B eher bescheiden, doch die Karte zielt auf ein anderes Segment: kostengünstige Beschleunigung für kleinere Teams und Forschungslabore, die keine riesigen Rechenzentren betreiben.

NVIDIA betont zudem, dass die Blackwell Ultra GB300 neue Bestmarken beim Reasoning setzt: 4,7-facher Vorsprung in Offline-Tests und 5,2-fach im Server-Betrieb gegenüber der Hopper-Generation. Das bedeutet, die Karte punktet nicht nur bei roher Geschwindigkeit, sondern auch bei komplexeren logischen Aufgaben – ein Vorteil für multimodale KI-Systeme, die immer wichtiger werden.

Was bringt die Zukunft? Sicher ist, dass NVIDIA, AMD und auch Intel weiter an Software, Treibern und Optimierungen feilen werden. Für Anwender bedeutet das: Die Leistung steigt rasant, und die Entscheidung zwischen den Plattformen hängt zunehmend von Workload-Kompatibilität, Software-Ökosystem und Gesamtkosten ab. Klar ist aber auch: Die Messlatte für KI-Inferenz wurde soeben deutlich höher gelegt.