Google DiffusionGemma: Technischer Bericht erklärt das schnelle Textdiffusionsmodell

Google DeepMind hat einen technischen Bericht zu DiffusionGemma veröffentlicht, einem Modell, das Mitte Juni veröffentlicht wurde und Text durch die parallele Verfeinerung von Blöcken aus 256 Tokens erzeugt, ähnlich der Bilderzeugung aus Rauschen. Auf Nvidias H100-Beschleuniger erreicht es etwa 1.500 Tokens pro Sekunde. Anstatt von Grund auf zu trainieren, wurde das bestehende Modell Gemma-4-26B-A4B mit weniger als 10 % des ursprünglichen Trainings-Token-Budgets in ein Diffusionsmodell umgewandelt. Das Training umfasste zwei Phasen: Zuerst das Lernen, verrauschte Textblöcke zu rekonstruieren, und dann eine kombinierte Phase aus Reinforcement Learning und Sampler-Destillation, die Google als SD·RL bezeichnet. Der Bericht gibt an, dass dies die Reasoning-Benchmarks um durchschnittlich zehn Punkte verbessert, während die Tokens pro Schritt fast vervierfacht werden und die Antworten etwa 50 % kürzer sind. Die bidirektionale Verarbeitung von DiffusionGemma ermöglicht eine Selbstkorrektur vor der Ausgabe, wodurch es nach Feintuning Sudoku-Rätsel mit einer Genauigkeit von 85 % lösen kann, während das Basismodell versagt. Es behält auch die Fähigkeit, Wort für Wort zu generieren, sodass Benutzer zwischen den Modi wechseln können. Die absolute Leistung liegt jedoch unter der des autoregressiven Modells, aufgrund von Faktoren wie der nachträglichen Umwandlung und einer kurzen Trainingsphase, die auf Geschwindigkeit abzielt. Das Modell gerät gelegentlich in Wiederholungsschleifen und schließt manchmal Reasoning-Abschnitte nicht ab, was die Benchmark-Werte senkt. Der Geschwindigkeitsvorteil gilt hauptsächlich in Einzelbenutzerszenarien, da autoregressive Modelle bei mehr als 32 gleichzeitigen Anfragen im Durchsatz aufholen. Google positioniert DiffusionGemma als experimentell, um die Forschung zu beschleunigen und eine Grundlage für spezialisierte Anpassungen zu bieten. Es wird bereits vom Startup Interfaze für mehrsprachige Spracherkennung und in einem Projekt für interaktive Radiologieberichte verwendet. Das Modell ist unter Apache 2.0 auf Hugging Face verfügbar, und ein Vorläufer, Gemini Diffusion, wurde im Mai 2025 demonstriert.