Gérer les niveaux de raisonnement dans les grands modèles de langage

Depuis qu'OpenAI a publié o1, les modèles de raisonnement produisant des traces intermédiaires de raisonnement sont devenus courants. DeepSeek-R1 a popularisé l'entraînement RLVR, où un modèle est récompensé pour des réponses correctes à des tâches mathématiques et de code, sans utiliser la trace de raisonnement elle-même pour les mises à jour. Cela a conduit à des moments « Aha » où les modèles apprennent à s'auto-corriger. Kimi K1.5 et Tülu 3 ont également contribué à cette approche, R1-Zero montrant qu'un RLVR pur peut enseigner le raisonnement. L'ajustement progressif de l'inférence, comme l'auto-cohérence via un vote majoritaire, améliore encore les performances. Les jetons de pensée (<think></think>) sont des marqueurs cosmétiques pour séparer le raisonnement des réponses, non essentiels au raisonnement. Les bascules de mode raisonnement (activé/désactivé) sont implémentées via un ajustement fin supervisé avec des exemples avec et sans think, renforcé pendant l'apprentissage par renforcement. Les réglages d'effort de raisonnement (faible/moyen/élevé) dans des modèles comme GPT-5.6 contrôlent probablement la longueur et la précision des réponses, peut-être via des invites système, comme observé dans les modèles gpt-oss d'OpenAI.