O Que Falta nos Chatbots de LLM: Um Senso de Propósito

Os chatbots baseados em modelos de linguagem de grande escala (LLMs) estão em constante evolução, mas seu progresso é medido por benchmarks como MMLU, HumanEval e MATH, que testam respostas únicas. No entanto, tarefas do mundo real, como planejamento de viagens ou automatização de issues do GitHub, exigem diálogo em múltiplas etapas com refinamento dos requisitos. Pesquisadores mostraram que mesmo modelos avançados como LLaMA2-chat-70B e GPT-3.5-turbo-16k perdem a aderência ao prompt do sistema após cerca de 1,6 mil tokens (aproximadamente 16 rodadas). Isso é confirmado por um experimento onde dois agentes LLM se comunicaram entre si e, em seguida, verificou-se o quão bem cada um seguia sua instrução. O problema é que o treinamento por Aprendizado por Reforço com Feedback Humano (RLHF) não considera planejamento em várias etapas — ele otimiza respostas únicas em vez de objetivos de longo prazo. O autor propõe uma abordagem de "diálogo orientado a objetivos", onde o chatbot atua como um assistente que gradualmente esclarece as intenções do usuário. Exemplos de tais sistemas incluem "diálogo orientado a soluções" e a plataforma Sotopia, que modela a tomada de decisão colaborativa. Para criar verdadeiros assistentes, precisamos não apenas gerar texto, mas projetar diálogos como jogos orientados a objetivos, onde cada enunciado altera o modelo de mundo do interlocutor.