डिफ्यूज़न लैंग्वेज मॉडल: वे कैसे काम करते हैं, क्या काम करता है, और क्या सवाल उठाता है

डिफ्यूज़न भाषा मॉडल (dLLM) पाठ को समानांतर रूप में उत्पन्न करते हैं, कहीं भी MASK भरते हैं, जबकि ऑटोरेग्रेसिव LLM बाएं से दाएं टोकन-दर-टोकन उत्पन्न करते हैं। मास्क्ड डिफ्यूज़न दृष्टिकोण, जो BERT से संबंधित है, एक फॉरवर्ड प्रक्रिया का उपयोग करता है जो टोकन को MASK से बदल देती है और एक रिवर्स प्रक्रिया जो उन्हें पुनर्स्थापित करती है। लाभों में समानांतर पीढ़ी, टेक्स्ट इनफिलिंग, रिवर्स क्वेरीज़ के प्रति मजबूती (जैसा कि LLaDA द्वारा दिखाया गया है), और सीमित डेटा के साथ बेहतर प्रदर्शन शामिल हैं। हालाँकि, dLLM KV-कैश अक्षमता, स्वतंत्र टोकन धारणा, और निश्चित-लंबाई पीढ़ी से ग्रस्त हैं, जिसके लिए परिवर्तनीय लंबाई के लिए तरकीबों की आवश्यकता होती है। मूल्यांकन अक्सर पर्पलेक्सिटी (GenPPL) का उपयोग करता है लेकिन पुनरावृत्ति पतन से ग्रस्त है; विविधता मीट्रिक की भी आवश्यकता है। पहले से प्रशिक्षित ऑटोरेग्रेसिव मॉडल का dLLM में अनुकूलन एक मानक दृष्टिकोण है, जिसमें DiffuGPT, DiffuLLaMA, Dream और LLaDA जैसी विधियाँ शामिल हैं, जिन्हें Ling 2.0 पर आगे प्रशिक्षित करके 16B और 100B पैरामीटर तक पहुँचाया गया। लेख में लेखकों के स्वयं के प्रयोगों और चुनौतियों का भी उल्लेख है।