Mengelola Level Penalaran dalam Model Bahasa Besar

Sejak OpenAI merilis o1, model penalaran yang menghasilkan jejak penalaran antara telah menjadi standar. DeepSeek-R1 mempopulerkan pelatihan RLVR, di mana model diberi imbalan atas jawaban yang benar pada tugas matematika dan kode, tanpa menggunakan jejak penalaran itu sendiri untuk pembaruan. Hal ini menghasilkan momen "Aha" di mana model belajar untuk mengoreksi diri sendiri. Kimi K1.5 dan Tülu 3 juga berkontribusi pada pendekatan ini, dengan R1-Zero menunjukkan bahwa RLVR murni dapat mengajarkan penalaran. Skala inferensi, seperti konsistensi diri melalui pemungutan suara mayoritas, semakin meningkatkan kinerja. Token pemikiran (<think></think>) adalah penanda kosmetik untuk memisahkan penalaran dari jawaban, bukan hal penting untuk penalaran. Mode penalaran (nyala/mati) diimplementasikan melalui fine-tuning terawasi dengan contoh-contoh pemikiran dan tanpa pemikiran, diperkuat selama RL. Pengaturan usaha penalaran (rendah/sedang/tinggi) dalam model seperti GPT-5.6 kemungkinan mengontrol panjang respons dan akurasi, mungkin melalui prompt sistem, seperti yang terlihat pada model gpt-oss OpenAI.