Model Difusi Agentik Pertama di Dunia: Mengoreksi Diri Saat Bertindak, Konteks 128K Setara Model Autoregresif
Tim inclusionAI dari Ant Group merilis LLaDA 2.2, model difusi agentik skala besar pertama di dunia dengan konteks asli 128K. Model ini mengintegrasikan penyuntingan Levenshtein, pembelajaran penguatan dari umpan balik lingkungan, dan arsitektur BlockRouting, mencapai kinerja yang mendekati model autoregresif teratas pada tolok ukur agen dengan throughput yang lebih tinggi.
Tim inclusionAI dari Ant Group telah merilis LLaDA 2.2 sebagai open source, sebuah model bahasa difusi MoE dengan 100 miliar parameter yang mendukung konteks native 128K. Ini adalah model difusi agen berskala besar pertama, yang memungkinkan model untuk menghasilkan dan memperbaiki outputnya secara bersamaan. Model ini menggunakan paradigma pengeditan Levenshtein dengan empat operasi atomik (KEEP, SUBSTITUTE, DELETE, INSERT) untuk secara dinamis memodifikasi konten yang dihasilkan. Model ini juga memperkenalkan L-EBPO (Levenshtein Editing Evidence Lower Bound Policy Optimization) untuk memperlakukan keputusan pengeditan multi-putaran sebagai masalah pembelajaran penguatan berdasarkan umpan balik lingkungan. Untuk menangani konteks panjang, model menggunakan BlockRouting, yang memilih kumpulan pakar tetap di tingkat blok sebelum perutean tingkat token, mengurangi lalu lintas HBM dan biaya komunikasi. Pada tujuh tolok ukur agen, LLaDA 2.2-flash mencetak 53,83 dibandingkan dengan Ling-2.6-flash sebesar 55,74, menunjukkan kinerja yang sebanding, sementara mencapai throughput rata-rata 1,64x dalam BF16 dan peningkatan tambahan 18,6% dengan kuantisasi FP8. Ini membuktikan bahwa model difusi dapat menyamai model autoregresif dalam tugas agen dan akan hidup berdampingan dalam sistem agen di masa depan.
Sumber: QbitAI 量子位 —
asli