दुनिया का पहला एजेंटिक डिफ्यूजन मॉडल: कार्य करते समय स्व-सुधार, 128K कॉन्टेक्स्ट ऑटोरेग्रेसिव मॉडल से मेल खाता है

एंट ग्रुप की inclusionAI टीम ने LLaDA 2.2 को ओपन-सोर्स किया है, जो 100 अरब पैरामीटर वाला MoE डिफ्यूजन लैंग्वेज मॉडल है और 128K नेटिव कॉन्टेक्स्ट को सपोर्ट करता है। यह पहला बड़े पैमाने का एजेंटिक डिफ्यूजन मॉडल है, जो मॉडल को अपने आउटपुट को एक साथ जनरेट और सही करने में सक्षम बनाता है। यह मॉडल Levenshtein एडिटिंग पैराडाइम का उपयोग करता है, जिसमें चार एटॉमिक ऑपरेशन (KEEP, SUBSTITUTE, DELETE, INSERT) के माध्यम से जनरेट की गई सामग्री को डायनामिक रूप से संशोधित किया जाता है। यह L-EBPO (Levenshtein Editing Evidence Lower Bound Policy Optimization) भी पेश करता है, जो मल्टी-टर्न एडिटिंग निर्णयों को पर्यावरणीय फीडबैक के आधार पर रीइन्फोर्समेंट लर्निंग समस्याओं के रूप में मानता है। लंबे कॉन्टेक्स्ट को संभालने के लिए, यह मॉडल BlockRouting का उपयोग करता है, जो टोकन-स्तरीय रूटिंग से पहले ब्लॉक स्तर पर एक निश्चित विशेषज्ञ पूल का चयन करता है, जिससे HBM ट्रैफिक और संचार लागत कम होती है। सात एजेंट बेंचमार्क पर, LLaDA 2.2-flash ने 53.83 अंक प्राप्त किए, जबकि Ling-2.6-flash के 55.74 अंक थे, जो तुलनीय प्रदर्शन दर्शाते हैं, और BF16 में 1.64x औसत थ्रूपुट और FP8 क्वांटाइजेशन के साथ अतिरिक्त 18.6% सुधार हासिल किया। यह साबित करता है कि डिफ्यूजन मॉडल एजेंट कार्यों में ऑटोरेग्रेसिव मॉडल से मेल खा सकते हैं और भविष्य के एजेंट सिस्टम में सह-अस्तित्व में रहेंगे।