نماذج اللغة الانتشارية: كيف تعمل، وما الذي ينجح، وما يثير التساؤلات

نماذج اللغة الانتشارية (dLLMs) تولد النص بالتوازي، وتملأ الأقنعة في أي موضع، على عكس نماذج اللغة التوليدية الذاتية (autoregressive LLMs) التي تولد رمزًا تلو الآخر من اليسار إلى اليمين. نهج الانتشار المقنّع، المرتبط بنموذج بيرت (BERT)، يستخدم عملية أمامية تستبدل الرموز بعلامة MASK وعملية عكسية تستعيدها. تشمل المزايا التوليد المتوازي، وتعبئة النص، والمتانة تجاه الاستعلامات العكسية (كما أظهره نموذج LLaDA)، وأداء أفضل مع البيانات المحدودة. ومع ذلك، تعاني نماذج dLLMs من عدم كفاءة ذاكرة التخزين المؤقت KV، وافتراض استقلال الرموز، والتوليد بطول ثابت، مما يتطلب حيلًا للطول المتغير. غالبًا ما يستخدم التقييم مقياس الحيرة (GenPPL) ولكنه يعاني من انهيار التكرار؛ كما أن مقاييس التنوع ضرورية أيضًا. يُعد تكييف النماذج التوليدية الذاتية المدربة مسبقًا مع نماذج dLLMs نهجًا قياسيًا، مع طرق مثل DiffuGPT وDiffuLLaMA وDream وLLaDA، والتي استمر تدريبها على Ling 2.0 لتصل إلى 16 مليار و100 مليار معلمة. تذكر المقالة أيضًا تجارب المؤلفين الخاصة والتحديات.