De Evolutie van Contextcompressie in AI-agenten

AI-agenten zijn een cyclus van berichtenuitwisseling tussen een gebruiker en een taalmodel (LLM), waarbij het model tools of MCP's kan aanroepen. Elke interactie voegt toe aan de gespreksgeschiedenis, die doorgaans volledig naar de volgende modelaanroep wordt gestuurd. Contextvensters zijn echter, hoewel groot, niet onbeperkt, en de prestaties nemen af bij grote, slecht gestructureerde geschiedenissen. Het klassieke artikel 'Lost in the Middle' toont een U-vormige curve: modellen gebruiken het begin en einde van lange invoer beter dan het midden. Het artikel traceert de evolutie van benaderingen om context te comprimeren: eenvoudig bijsnijden van de staart (rollend venster) in LangChain via trim_messages; het samenvatten van oude berichten in een samenvattingsblok met behulp van SummarizationMiddleware in create_agent; en vervolgens het beschermen van de eerste N berichten en de verse staart terwijl het midden wordt gecomprimeerd, zoals te zien is in Hermes Agent en OpenRouter's middle-out-compressie. De nieuwste benadering scheidt de opgeslagen geschiedenis van de werkcontext: de volledige geschiedenis wordt extern bewaard (bijvoorbeeld in een bestand), de modelaanroep ontvangt een weergave met de verse staart plus een samenvatting, en de agent krijgt tools zoals read_file of grep om details uit de volledige geschiedenis op te halen. LangChain's Deep Agents-bibliotheek implementeert dit in zijn SummarizationMiddleware, hoewel de naam verwarrend wordt gedeeld met de basis-middleware. Deze evolutie maakt deel uit van de bredere trend van context engineering, waarbij onderscheid wordt gemaakt tussen wat de agent weet (volledige geschiedenis, toolresultaten, vaardigheden) en wat er in de volgende modelaanroep gaat.