NVIDIA bringt Groq 3 LPX in Serienfertigung für schnellere KI-Inferenz

NVIDIA hat Groq 3 LPX am 24. August 2026 in die Serienfertigung geschickt. Der Beschleuniger soll die Antwortzeiten von KI-Systemen mit vielen Inferenzschritten deutlich senken und zielt auf Anwendungen, die große Kontexte und schnelle Token-Erzeugung zugleich benötigen.

Wie NVIDIA im Newsroom mitteilte, erweitert Groq 3 LPX die Plattform NVIDIA Vera Rubin. Der Anbieter ordnet den Baustein als interaktiven Beschleuniger für KI-Inferenz ein. In Benchmarks von Artificial Analysis erreichte das System laut NVIDIA 3.400 Ausgabetoken pro Sekunde mit Gemma 4 31B und einem Kontext von 100.000 Token. Für latenzkritische Aufgaben liege die Reaktionsgeschwindigkeit damit um den Faktor 4 über der nächstliegenden Alternativplattform.

Erster Einsatz bei Nebius

Nebius wird laut NVIDIA als erste KI-Cloud Groq 3 LPX übernehmen. Geplant ist der Einsatz in der Produktionsplattform Nebius Token Factory. Der Zugriff soll über dieselbe Programmierschnittstelle erfolgen, die Entwickler bereits nutzen. Eine Migration auf einen neuen Software-Stack sei dafür nicht vorgesehen. Nach Nebius zählt auch die auf KI-Inferenz spezialisierte Cloud Groq zu den frühen Anwendern der Plattform.

Fokus auf Token-Erzeugung

NVIDIA beschreibt zwei Rechenprobleme für agentische Systeme: die Verarbeitung sehr großer Kontexte und die Erzeugung von Token mit sehr geringer Verzögerung. Groq 3 LPX sei dafür ausgelegt, die Interaktivität von Vera Rubin zu erweitern. Gemeint ist die Token-Erzeugungsrate pro einzelnem Nutzer. Schnellere Erzeugung verschaffe automatisierten Systemen mehr Zeit für Dateiprüfung, Programmierung, Werkzeugaufrufe, Ergebnisprüfung und Iteration innerhalb eines responsiven Ablaufs.

Sieben Chips, fünf Racks

Die Plattform Vera Rubin umfasst laut NVIDIA eine gemeinsame Auslegung über 7 Chips und 5 spezialisierte Racks. Vera Rubin NVL72 und Groq 3 LPX sollen unterschiedliche Lastprofile in KI-Fabriken abdecken. Genannt werden Modellanbieter und Dienstleister für offene Modelle. Zu den Bausteinen der Rack-Plattform zählen NVIDIA BlueField-4 DPUs, Vera-CPU-Racks, Vera BlueField-4 STX Storage und Spectrum-6 SPX Ethernet.