DeepSeek mengisyaratkan model R2 dan memperkenalkan metode penskalaan inferensi baru SPCT

DeepSeek AI menerbitkan makalah berjudul 'Inference-Time Scaling for Generalist Reward Modeling' yang memperkenalkan metode baru bernama Self-Principled Critique Tuning (SPCT). SPCT meningkatkan model reward umum (general reward models, GRM) dengan menghasilkan prinsip dan kritik secara dinamis melalui penyetelan penolakan (rejection fine-tuning) dan pembelajaran penguatan online berbasis aturan. Pendekatan ini bertujuan untuk meningkatkan skalabilitas selama inferensi, mengatasi kelangkaan reward (reward sparsity)—sebuah hambatan besar dalam menskalakan pembelajaran penguatan untuk Large Language Models (LLM). Seri R1 DeepSeek telah memvalidasi pelatihan RL murni; perusahaan kini mengisyaratkan model R2 generasi berikutnya, yang diharapkan dibangun berdasarkan kemajuan ini. Pergeseran skala LLM dari pra-pelatihan ke pasca-pelatihan, terutama fase inferensi, mengikuti model seperti o1 milik OpenAI, yang menggunakan penalaran rantai pemikiran (chain-of-thought) internal yang ekstensif.