SRPO: Metode RL Baru Kuaishou 10x Lebih Efisien dari GRPO untuk Pelatihan LLM
Peneliti dari tim Kwaipilot Kuaishou memperkenalkan SRPO, kerangka kerja pembelajaran penguatan dua tahap yang mencapai performa setara DeepSeek-R1-Zero pada domain matematika dan kode dengan hanya sepersepuluh langkah pelatihan. SRPO mengatasi konflik optimasi lintas domain, efisiensi sampel rendah, dan saturasi prematur melalui pelatihan bertahap dan resampling riwayat.
Tim Kwaipilot dari Kuaishou mengembangkan SRPO (Two-Staged history-Resampling Policy Optimization), kerangka kerja pembelajaran penguatan untuk LLM yang melampaui GRPO standar. SRPO menggunakan paradigma pelatihan dua tahap: pertama, pelatihan pada data matematika yang menantang untuk memicu penalaran, kemudian mengintegrasikan data kode untuk kombinasi keterampilan. History Resampling menyaring sampel mudah dengan varians reward nol, memastikan pembaruan gradien yang efektif. Eksperimen menunjukkan bahwa SRPO-Qwen-32B mencapai skor 50 pada AIME24 dan 41,6 pada LiveCodeBench, sebanding dengan DeepSeek-R1-Zero-32B tetapi dengan 10 kali lebih sedikit langkah pelatihan. Model ini menunjukkan perilaku reflektif seperti memeriksa ulang, ragu-ragu, dan eksplorasi, serta secara spontan menggunakan kode untuk memverifikasi solusi matematika. Tim ini merilis model secara open-source dan menerbitkan laporan teknis.
Sumber: Synced —
asli