Dünyanın İlk Ajan Difüzyon Modeli: Hareket Ederken Kendini Düzeltiyor, 128K Bağlam Otoregresif Modellerle Eşleşiyor

Ant Group'un inclusionAI ekibi, 100 milyar parametreli MoE difüzyon dil modeli LLaDA 2.2'yi açık kaynak olarak yayınladı. Model, 128K yerel bağlamı destekliyor. Bu, büyük ölçekli ilk ajan difüzyon modeli olup, modelin çıktılarını aynı anda üretmesine ve düzeltmesine olanak tanıyor. Model, Levenshtein düzenleme paradigmasını kullanarak dört atomik işlemle (KEEP, SUBSTITUTE, DELETE, INSERT) üretilen içeriği dinamik olarak değiştiriyor. Ayrıca, çok turlu düzenleme kararlarını çevresel geri bildirime dayalı pekiştirmeli öğrenme problemleri olarak ele almak için L-EBPO'yu (Levenshtein Düzenleme Kanıt Alt Sınırı Politika Optimizasyonu) tanıtıyor. Uzun bağlamları işlemek için model, token seviyesi yönlendirmesinden önce blok seviyesinde sabit bir uzman havuzu seçen BlockRouting'i kullanarak HBM trafiğini ve iletişim maliyetlerini azaltıyor. Yedi ajan kıyaslamasında, LLaDA 2.2-flash 53.83 puan alırken Ling-2.6-flash 55.74 puan aldı ve karşılaştırılabilir performans sergiledi; ayrıca BF16'da ortalama 1.64 kat verim elde etti ve FP8 niceleme ile ek %18.6 iyileşme sağladı. Bu, difüzyon modellerinin ajan görevlerinde otoregresif modellerle rekabet edebileceğini ve gelecekteki ajan sistemlerinde bir arada var olacaklarını kanıtlıyor.