Alibaba Qwen Merilis ProcessBench dan Model Hadiah Proses yang Ditingkatkan untuk Penalaran Matematika

Tim Qwen dari Alibaba memperkenalkan ProcessBench, sebuah tolok ukur dengan 3.400 kasus uji yang berfokus pada soal matematika tingkat kompetisi dan Olimpiade, di mana pakar manusia menandai langkah keliru pertama dalam solusi langkah demi langkah. Mereka juga merilis dua Model Imbalan Proses (Process Reward Model, PRM) baru, yaitu Qwen2.5-Math-PRM-7B dan Qwen2.5-Math-PRM-72B, yang disetel halus dari model Qwen2.5-Math-Instruct. Dalam evaluasi Best-of-N (N=8) pada tujuh tolok ukur matematika, Qwen2.5-Math-PRM-7B mengungguli pemungutan suara mayoritas rata-rata sebesar 1,4%, serta menyamai atau melampaui PRM lain dengan skala serupa. Pada ProcessBench, Qwen2.5-Math-PRM-7B melampaui GPT-4o-0806 dan semua model sumber terbuka, hanya tertinggal dari o1-mini. Tim tersebut juga mencatat bahwa Model Imbalan Hasil (Outcome Reward Model, ORM) Qwen2.5-Math-RM-72B menunjukkan kemampuan deteksi kesalahan langkah yang mengejutkan, melampaui beberapa PRM. Pekerjaan ini bertujuan untuk meningkatkan supervisi proses dalam penalaran Large Language Model (LLM).