A Evolução da Compressão de Contexto em Agentes de IA

Os agentes de IA são um ciclo de troca de mensagens entre um usuário e um modelo de linguagem (LLM), no qual o modelo pode chamar ferramentas ou MCPs. Cada interação é adicionada ao histórico da conversa, que normalmente é enviado por completo na próxima chamada ao modelo. No entanto, as janelas de contexto, embora grandes, não são ilimitadas, e o desempenho se degrada com históricos grandes e mal estruturados. O clássico artigo 'Lost in the Middle' mostra uma curva em forma de U: os modelos usam melhor o início e o fim de entradas longas do que o meio. O artigo traça a evolução das abordagens para comprimir o contexto: o corte simples da cauda (janela deslizante) no LangChain, via trim_messages; o resumo das mensagens antigas em um bloco de resumo, usando o SummarizationMiddleware no create_agent; e, em seguida, a proteção das primeiras N mensagens e da cauda recente, enquanto comprime o meio, como visto no Hermes Agent e na compressão middle-out do OpenRouter. A abordagem mais recente separa o histórico armazenado do contexto de trabalho: o histórico completo é mantido externamente (por exemplo, em um arquivo), a chamada ao modelo recebe uma visão com a cauda recente mais um resumo, e o agente recebe ferramentas como read_file ou grep para recuperar detalhes do histórico completo. A biblioteca Deep Agents do LangChain implementa isso em seu SummarizationMiddleware, embora o nome seja confusamente compartilhado com o middleware básico. Essa evolução faz parte da tendência mais ampla de engenharia de contexto, distinguindo o que o agente sabe (histórico completo, resultados de ferramentas, habilidades) do que vai para a próxima chamada ao modelo.