Maailman ensimmäinen agenttinen diffuusiomalli: itsekorjautuva toiminnan aikana, 128K konteksti vastaa autoregressiivisiä malleja

Ant Groupin inclusionAI-tiimi on avannut lähdekoodina LLaDA 2.2 -mallin, 100 miljardin parametrin MoE-diffuusiokielimallin, joka tukee 128 000 merkin natiivia kontekstia. Se on ensimmäinen laajamittainen agenttitoimintoihin kykenevä diffuusiomalli, joka mahdollistaa tulosteiden samanaikaisen tuottamisen ja korjaamisen. Malli käyttää Levenshtein-muokkausparadigmaa, jossa on neljä atomioperaatiota (KEEP, SUBSTITUTE, DELETE, INSERT), jotka muokkaavat tuotettua sisältöä dynaamisesti. Se esittelee myös L-EBPO-menetelmän, joka käsittelee monivaiheisia muokkauspäätöksiä vahvistusoppimisongelmina ympäristön palautteen perusteella. Pitkien kontekstien käsittelyyn malli käyttää BlockRoutingia, joka valitsee kiinteän asiantuntijajoukon lohkotasolla ennen token-tason reititystä vähentäen HBM-liikennettä ja viestintäkustannuksia. Seitsemässä agenttivertailussa LLaDA 2.2 -flash sai pisteet 53,83, kun Ling 2.6 -flashiin verrattava tulos oli 55,74, osoittaen vertailukelpoista suorituskykyä. Samalla se saavutti 1,64-kertaisen keskimääräisen läpäisyn BF16-tarkkuudella ja 18,6 prosentin lisäparannuksen FP8-kvantisoinnilla. Tämä todistaa, että diffuusiomallit voivat kilpailla autoregressiivisten mallien kanssa agenttitehtävissä ja tulevat esiintymään rinnakkain tulevissa agenttijärjestelmissä.