Google veröffentlicht DiffusionGemma: Offenes 26-Milliarden-Modell erzeugt Text bis zu viermal schneller

Google hat mit DiffusionGemma ein offenes Sprachmodell vorgestellt, das Text nicht Token für Token erzeugt. Der experimentelle Ansatz soll auf dedizierten GPUs deutlich schneller laufen und zielt auf Aufgaben, bei denen Textblöcke parallel überarbeitet werden.

Wie The Decoder am 10. Juni 2026 berichtete, veröffentlicht Google DiffusionGemma mit offenen Gewichten als Modell mit 26 Milliarden Parametern. Pro Rechenschritt aktiviert das System jedoch nur 3,8 Milliarden Parameter. Grundlage ist eine Mixture-of-Experts-Architektur. Statt einzelne Tokens nacheinander zu berechnen, startet DiffusionGemma mit einem Block aus 256 Platzhalter-Tokens und verfeinert diesen in mehreren Durchläufen. Quantisiert soll das Modell laut dem Bericht in 18 GB Videospeicher einer dedizierten High-End-Consumer-GPU passen.

Parallel statt Wort für Wort

Der technische Unterschied liegt in der Inferenz. Klassische LLMs arbeiten autoregressiv und erzeugen jedes neue Token auf Basis des vorherigen. DiffusionGemma verarbeitet bis zu 256 Tokens parallel. Das Verfahren stammt aus der Bild-KI, wo Diffusionsmodelle aus Rauschen schrittweise ein Ergebnis erzeugen. Laut The Decoder übernimmt Google den Ansatz aus früherer Forschung zu Gemini Diffusion und kombiniert ihn mit der Gemma-4-Familie. Für nicht-lineare Aufgaben eignet sich das Modell laut Bericht besonders, etwa beim nachträglichen Einfügen von Text oder beim Schließen von Lücken in Programmcode.

Für KMU-Werkzeuge ist der Ansatz vor allem bei lokaler Inferenz relevant. Modelle, die in 18 GB VRAM passen, lassen sich auf leistungsfähigen Arbeitsplatzrechnern oder kompakten GPU-Systemen betreiben. Das betrifft vor allem Entwicklungsumgebungen, interne Assistenten und Code-Werkzeuge. The Decoder verweist zugleich auf einen Zielkonflikt: DiffusionGemma erzeugt mehr Tokens pro Sekunde als autoregressive Gemma-4-Modelle, erreicht aber in Qualitätstests niedrigere Werte.

Nvidia liefert die Optimierung

Den Geschwindigkeitsvorteil erklärt Nvidia mit besserer GPU-Auslastung. Autoregressive Modelle seien im Einzelnutzerbetrieb oft durch Speicherbandbreite begrenzt. DiffusionGemma verschiebe den Engpass stärker in Richtung Rechenleistung. Laut dem Bericht nennt Nvidia rund 1.000 Tokens pro Sekunde auf einer H100, 150 Tokens pro Sekunde auf dem DGX Spark und bis zu 800 Tokens pro Sekunde auf der DGX Station. Google spricht auf einer GeForce RTX 5090 von mehr als 700 Tokens pro Sekunde.

Tempo vor Textqualität

Im lokalen Einzelnutzerbetrieb soll DiffusionGemma auf dedizierten GPUs damit rund viermal schneller sein als ein vergleichbares autoregressives Modell. In Googles eigenen Benchmarks liegt der Vorsprung laut The Decoder bei etwa dem Faktor 3,5 gegenüber einem gleich großen Gemma-4-Modell. Der Bericht schränkt den Effekt zugleich ein: Auf Architekturen mit gemeinsam genutztem Speicher, etwa Apple Silicon, dürfte der Vorsprung geringer ausfallen. Veröffentlicht wurde die Nachricht am 10. Juni 2026.