GSPO: Pembelajaran Penguatan Skalabel untuk Model Bahasa

Alibaba Qwen memperkenalkan Group Sequence Policy Optimization (GSPO), algoritma pembelajaran penguatan yang dirancang untuk memperluas skala pelatihan model bahasa. Tidak seperti algoritma yang sudah ada seperti GRPO, GSPO mendefinisikan rasio kepentingan berdasarkan kemungkinan urutan dan melakukan pemotongan, pemberian hadiah, serta pengoptimalan di tingkat urutan. Pendekatan ini mengatasi masalah ketidakstabilan parah yang diamati pada GRPO selama pelatihan panjang, termasuk keruntuhan model yang tidak dapat dipulihkan. GSPO menunjukkan efisiensi pelatihan yang jauh lebih tinggi, mencapai kinerja yang lebih baik dengan biaya pelatihan yang sama, dan memungkinkan peningkatan kinerja yang berkelanjutan seiring bertambahnya komputasi. Algoritma ini juga secara inheren menstabilkan pelatihan model Mixture-of-Experts (MoE) yang besar, sehingga menghilangkan kebutuhan akan strategi Routing Replay yang diperlukan oleh GRPO. Selain itu, GSPO lebih toleran terhadap perbedaan presisi, sehingga ramah terhadap infrastruktur untuk skenario seperti peluncuran parsial dan pembelajaran penguatan multi-putaran. GSPO telah berhasil diterapkan pada pelatihan pembelajaran penguatan skala besar model Qwen3 terbaru, yang semakin membuka potensi penskalaan pembelajaran penguatan.