Model Bahasa Difusi: Cara Kerjanya, Apa yang Berhasil, dan Apa yang Memicu Pertanyaan
Сбер
OpenAI
Microsoft
Model bahasa difusi (dLLM) menghasilkan teks secara paralel, mengisi masker di mana pun dalam urutan. Mereka menawarkan keunggulan seperti pembangkitan paralel, pengisian teks, dan ketahanan terhadap kueri terbalik, tetapi menghadapi masalah seperti inefisiensi memori dan pembangkitan dengan panjang tetap. Artikel ini membahas penelitian terbaru, termasuk LLaDA, Plaid, dan metode pencocokan aliran (flow-matching), serta mengeksplorasi adaptasi model autoregresif yang telah dilatih sebelumnya.
Model bahasa difusi (dLLM) menghasilkan teks secara paralel, mengisi mask di mana saja, tidak seperti LLM autoregresif yang menghasilkan token demi token dari kiri ke kanan. Pendekatan difusi bertopeng, yang terkait dengan BERT, menggunakan proses maju yang mengganti token dengan MASK dan proses mundur yang memulihkannya. Keunggulannya meliputi generasi paralel, pengisian teks, ketahanan terhadap kueri terbalik (seperti yang ditunjukkan oleh LLaDA), dan kinerja yang lebih baik dengan data terbatas. Namun, dLLM menderita inefisiensi cache KV, asumsi token independen, dan generasi panjang tetap, yang memerlukan trik untuk panjang variabel. Evaluasi sering menggunakan perplexity (GenPPL) tetapi menderita keruntuhan repetisi; metrik keberagaman juga diperlukan. Adaptasi model autoregresif yang sudah dilatih sebelumnya menjadi dLLM adalah pendekatan standar, dengan metode seperti DiffuGPT, DiffuLLaMA, Dream, dan LLaDA, yang dilatih lanjut pada Ling 2.0 untuk mencapai 16 miliar dan 100 miliar parameter. Artikel ini juga menyebutkan eksperimen dan tantangan penulis sendiri.
Sumber: Habr — хаб ИИ —
asli