Beheer van redeneerniveaus in grote taalmodellen

Sinds OpenAI o1 heeft uitgebracht, zijn redeneermodellen die tussentijdse redeneersporen produceren de standaard geworden. DeepSeek-R1 maakte RLVR-training populair, waarbij een model wordt beloond voor correcte antwoorden op wiskunde- en codeertaken, zonder het redeneerspoor zelf te gebruiken voor updates. Dit leidde tot 'aha'-momenten waarin modellen leren zichzelf te corrigeren. Kimi K1.5 en Tülu 3 droegen ook bij aan deze aanpak, waarbij R1-Zero liet zien dat pure RLVR redeneren kan aanleren. Inferentieschaling, zoals zelfconsistentie via meerderheidsstemming, verbetert de prestaties verder. Denktokens (<think></think>) zijn cosmetische markeringen om redeneren van antwoorden te scheiden, niet essentieel voor redeneren. De schakelaar voor de redeneermodus (aan/uit) wordt geïmplementeerd via gesuperviseerde fine-tuning met denk- en niet-denkvoorbeelden, versterkt tijdens reinforcement learning. Redeneerinspanning-instellingen (laag/midden/hoog) in modellen zoals GPT-5.6 bepalen waarschijnlijk de responlengte en nauwkeurigheid, mogelijk via systeemprompts, zoals te zien is bij OpenAI's gpt-oss-modellen.