Gerenciando Níveis de Raciocínio em Modelos de Linguagem de Grande Escala

Desde que a OpenAI lançou o o1, modelos de raciocínio que produzem traces intermediários de raciocínio se tornaram padrão. O DeepSeek-R1 popularizou o treinamento RLVR, no qual um modelo é recompensado por respostas corretas em tarefas de matemática e código, sem usar o próprio trace de raciocínio para atualizações. Isso levou a momentos 'Aha', em que os modelos aprendem a se autocorrigir. Kimi K1.5 e Tülu 3 também contribuíram para essa abordagem, com o R1-Zero mostrando que o RLVR puro pode ensinar raciocínio. O escalonamento de inferência, como a autoconsistência via votação majoritária, melhora ainda mais o desempenho. Tokens de pensar (<think></think>) são marcadores cosméticos para separar raciocínio de respostas, não essenciais para o raciocínio. Alternâncias de modo de raciocínio (ligado/desligado) são implementadas via ajuste fino supervisionado com exemplos com e sem think, reforçadas durante o RL. Configurações de esforço de raciocínio (baixo/médio/alto) em modelos como o GPT-5.6 provavelmente controlam comprimento e precisão da resposta, possivelmente via prompts de sistema, como visto nos modelos gpt-oss da OpenAI.