DiffusionGemma: Textgenerierung um bis zu 4-mal beschleunigt

Google DeepMind hat DiffusionGemma angekündigt, ein experimentelles Open-Source-Modell (Lizenz Apache 2.0), das Textdiffusion zur Generierung nutzt. Im Gegensatz zu herkömmlichen autoregressiven Large Language Models (LLMs), die Token sequenziell verarbeiten, generiert DiffusionGemma Textblöcke gleichzeitig und erreicht so eine Beschleunigung von bis zu 4x auf GPUs (über 1.000 Token pro Sekunde auf einer einzelnen NVIDIA H100, über 700 Token pro Sekunde auf einer NVIDIA GeForce RTX 5090). Das Modell hat eine Mixture-of-Experts-Architektur (MoE) mit 26 Milliarden Parametern, aktiviert aber beim Inferenz nur 3,8 Milliarden, sodass es bei Quantisierung in 18 GB Videospeicher passt. Zu den wichtigsten Merkmalen gehören bidirektionale Aufmerksamkeit (256 Token pro Durchlauf), iterative Selbstkorrektur und der Fokus auf nichtlineare Aufgaben wie Code-Editierung, Lückenfüllung oder die Arbeit mit Aminosäuresequenzen. Allerdings ist die Ausgabequalität geringer als bei der Standard-Gemma 4; Entwickler, die maximale Genauigkeit benötigen, sollten die autoregressive Version verwenden. DiffusionGemma ist besonders effizient bei lokaler Inferenz mit geringer Konkurrenz; in der Cloud mit hohem Durchsatz verringert sich der Vorteil. Das Modell ist bereits auf Hugging Face verfügbar und wird in MLX, vLLM und Hugging Face Transformers unterstützt; eine Integration mit llama.cpp ist geplant. DeepMind hat mit NVIDIA zusammengearbeitet, um die Optimierung auf Consumer- und Enterprise-GPUs (GeForce RTX 5090/4090, Hopper, Blackwell, NVIDIA DGX Spark, DGX Station, RTX PRO) zu gewährleisten; das 4-Bit-Format NVFP4 wird zur Beschleunigung unterstützt. Zudem wurden ein Entwicklerhandbuch, eine visuelle Anleitung und ein Tutorial zum Fine-Tuning mit Hackable Diffusion (JAX) veröffentlicht.