Premier modèle de diffusion agentique au monde : autocorrection en cours d'action, contexte 128K comparable aux modèles autorégressifs

L'équipe inclusionAI d'Ant Group a ouvert le code source de LLaDA 2.2, un modèle de langage à diffusion MoE de 100 milliards de paramètres prenant en charge un contexte natif de 128K. Il s'agit du premier modèle de diffusion agentique à grande échelle, permettant au modèle de générer et de corriger simultanément ses sorties. Le modèle utilise un paradigme d'édition Levenshtein avec quatre opérations atomiques (CONSERVER, SUBSTITUER, SUPPRIMER, INSÉRER) pour modifier dynamiquement le contenu généré. Il introduit également L-EBPO (optimisation de la borne inférieure de la preuve d'édition Levenshtein) pour traiter les décisions d'édition multi-tours comme des problèmes d'apprentissage par renforcement basés sur le retour d'information de l'environnement. Pour gérer les longs contextes, le modèle emploie BlockRouting, qui sélectionne un pool d'experts fixe au niveau du bloc avant le routage au niveau des tokens, réduisant ainsi le trafic HBM et les coûts de communication. Sur sept benchmarks agentiques, LLaDA 2.2-flash a obtenu un score de 53,83 contre 55,74 pour Ling-2.6-flash, démontrant des performances comparables, tout en atteignant un débit moyen 1,64 fois supérieur en BF16 et une amélioration supplémentaire de 18,6 % avec la quantification FP8. Cela prouve que les modèles de diffusion peuvent égaler les modèles autorégressifs dans les tâches agentiques et coexisteront dans les futurs systèmes agentiques.