DiffusionGemma: 4x schnellere Textgenerierung

Google DeepMind hat DiffusionGemma veröffentlicht, ein experimentelles 26B-Parameter Mixture-of-Experts (MoE)-Modell unter der Apache-2.0-Lizenz, das durch einen diffusionsbasierten Ansatz anstelle der sequenziellen Token-Vorhersage bis zu 4x schnellere Textgenerierung ermöglicht. Das Modell aktiviert nur 3,8 Milliarden Parameter pro Inferenz, passt nach Quantisierung in 18 GB VRAM und erreicht auf NVIDIA H100 über 1000 Tokens pro Sekunde sowie auf GeForce RTX 5090 über 700 Tokens pro Sekunde. Es verwendet bidirektionale Aufmerksamkeit, um 256 Tokens parallel zu generieren, was nichtlineare Aufgaben wie Code-Infilling und Sudoku-Lösen ermöglicht. DiffusionGemma ist für lokale Inferenz mit geringer Nebenläufigkeit optimiert, bei der die parallele Dekodierung den größten Nutzen bringt, während autoregressive Modelle für Cloud-Serving mit hohem Durchsatz besser geeignet bleiben. Das Modell verfeinert seine Ausgabe iterativ und kann mit Tools wie Unsloth, Hugging Face, vLLM, MLX, JAX, NVIDIA NeMo sowie bald llama.cpp feinabgestimmt werden. Google DeepMind hat mit NVIDIA für Hardware-Optimierungen wie NVFP4-Kernel zusammengearbeitet, und das Modell ist auf Hugging Face, der Gemini Enterprise Agent Platform und NVIDIA NIM verfügbar.