Weltweit erstes agentisches Diffusionsmodell: Selbstkorrektur während des Handelns, 128K Kontext entspricht autoregressiven Modellen

Das inclusionAI-Team von Ant Group hat LLaDA 2.2 als Open Source veröffentlicht, ein 100-Milliarden-Parameter-MoE-Diffusionssprachmodell, das einen nativen Kontext von 128K unterstützt. Es ist das erste große agentische Diffusionsmodell, das dem Modell ermöglicht, seine Ausgaben gleichzeitig zu generieren und zu korrigieren. Das Modell verwendet ein Levenshtein-Editing-Paradigma mit vier atomaren Operationen (BEHALTEN, ERSETZEN, LÖSCHEN, EINFÜGEN), um generierte Inhalte dynamisch zu verändern. Es führt außerdem L-EBPO (Levenshtein Editing Evidence Lower Bound Policy Optimization) ein, um mehrschrittige Editierentscheidungen als Reinforcement-Learning-Probleme auf Basis von Umgebungsfeedback zu behandeln. Zur Verarbeitung langer Kontexte verwendet das Modell BlockRouting, das vor dem Token-Routing auf Blockebene einen festen Expertenpool auswählt, wodurch HBM-Datenverkehr und Kommunikationskosten reduziert werden. In sieben Agenten-Benchmarks erreichte LLaDA 2.2-flash einen Wert von 53,83 im Vergleich zu 55,74 von Ling-2.6-flash, was eine vergleichbare Leistung zeigt, während es einen 1,64-fachen Durchsatz in BF16 und eine zusätzliche Verbesserung von 18,6 % durch FP8-Quantisierung erzielt. Dies beweist, dass Diffusionsmodelle mit autoregressiven Modellen in Agentenaufgaben mithalten können und in zukünftigen Agentensystemen nebeneinander existieren werden.