Gestión de niveles de razonamiento en modelos de lenguaje de gran escala

Desde que OpenAI lanzó o1, los modelos de razonamiento que generan trazas intermedias de razonamiento se han convertido en el estándar. DeepSeek-R1 popularizó el entrenamiento RLVR, donde un modelo es recompensado por respuestas correctas en tareas de matemáticas y código, sin utilizar la traza de razonamiento para las actualizaciones. Esto llevó a momentos "Eureka" en los que los modelos aprenden a autocorregirse. Kimi K1.5 y Tülu 3 también contribuyeron a este enfoque, con R1-Zero demostrando que el RLVR puro puede enseñar razonamiento. El escalado de inferencia, como la autoconsistencia mediante votación por mayoría, mejora aún más el rendimiento. Los tokens de pensamiento (<think></think>) son marcadores cosméticos para separar el razonamiento de las respuestas, no esenciales para el razonamiento. La alternancia de modo de razonamiento (activado/desactivado) se implementa mediante ajuste fino supervisado con ejemplos con y sin pensamiento, reforzado durante el RL. Los ajustes de esfuerzo de razonamiento (bajo/medio/alto) en modelos como GPT-5.6 probablemente controlan la longitud y precisión de las respuestas, posiblemente mediante indicaciones del sistema, como se ve en los modelos gpt-oss de OpenAI.