Werelds eerste agentische diffusiemodel: zelfcorrectie tijdens actie, 128K context evenaart autoregressieve modellen

Het inclusionAI-team van Ant Group heeft LLaDA 2.2 als opensource uitgebracht, een diffusietaalmodel met mengsel van experts (MoE, mixture of experts) van 100 miljard parameters dat een native context van 128K ondersteunt. Het is het eerste grootschalige agentische diffusiemodel, waarmee het model zijn uitvoer gelijktijdig kan genereren en corrigeren. Het model gebruikt een Levenshtein-bewerkingsparadigma met vier atomaire bewerkingen (KEEP, SUBSTITUTE, DELETE, INSERT) om gegenereerde inhoud dynamisch te wijzigen. Het introduceert ook L-EBPO (Levenshtein Editing Evidence Lower Bound Policy Optimization) om meerstapsbewerkingsbeslissingen te behandelen als versterkingsleerproblemen op basis van omgevingsfeedback. Om lange contexten te verwerken, maakt het model gebruik van BlockRouting, dat op blokniveau een vaste expertpool selecteert voordat token-niveau routing plaatsvindt, wat HBM-verkeer en communicatiekosten vermindert. Op zeven agent-benchmarks scoorde LLaDA 2.2-flash 53,83 tegenover 55,74 van Ling-2.6-flash, wat vergelijkbare prestaties aantoont, terwijl het een 1,64x gemiddelde doorvoer biedt in BF16 en een extra verbetering van 18,6% met FP8-kwantificatie. Dit bewijst dat diffusiemodellen kunnen wedijveren met autoregressieve modellen in agenttaken en naast elkaar zullen bestaan in toekomstige agentsystemen.