Context Engineering: wat het is, hoe je werkt met LLM-agentcontext en waarom je ervoor betaald krijgt

Context engineering is een set strategieën voor het verzamelen en onderhouden van optimale context tijdens LLM-inferentie, waarbij optimale context de minimale set bruikbare tokens is. Het verschilt van prompt engineering, dat alleen instructies behandelt, terwijl context engineering alles beheert wat het model samen met de instructie ontvangt: geschiedenis, documenten, tools, geheugen en status. RAG haalt externe kennis binnen, MCP standaardiseert verbindingen met gegevens en tools, en context engineering beslist hoe dit alles wordt samengesteld tot context voor de volgende stap van een agent. De context van een agent bestaat uit verschillende lagen: gebruikersvraag, systeemprompt, tools, few-shot voorbeelden, gegevens uit RAG, berichtgeschiedenis en toolaanroepen, geheugen en huidige status (kladblok). Hoewel moderne LLM's grote contextvensters hebben, toonde Chroma's rapport 'Context Rot' aan dat naarmate de gebruikte context groeit, de kwaliteit kan afnemen, zelfs bij eenvoudige taken. Drew Breunig identificeerde vier typische contextfoutscenario's: contextvergiftiging (een fout komt in de context en herhaalt zich), contextafleiding (noodzakelijke informatie raakt verloren tussen irrelevante gegevens), contextverwarring (het model raakt in de war door vergelijkbare tools/documenten) en contextbotsing (tegenstrijdige gegevens zonder prioriteitsregels). LangChain stelt vier acties voor om context te beheren: schrijven (belangrijke informatie opslaan in externe status), selecteren (relevante inhoud kiezen), comprimeren (comprimeren) en isoleren (verplaatsen naar een aparte context).