Ingénierie de contexte : ce que c'est, comment travailler avec le contexte d'un agent LLM, et pourquoi vous êtes payé pour cela

L'ingénierie de contexte est un ensemble de stratégies visant à collecter et à maintenir un contexte optimal lors de l'inférence des LLM, où le contexte optimal est l'ensemble minimal de jetons utiles. Elle diffère de l'ingénierie de prompt, qui ne gère que les instructions, tandis que l'ingénierie de contexte gère tout ce que le modèle reçoit avec l'instruction : historique, documents, outils, mémoire et état. Le RAG (Retrieval-Augmented Generation) apporte des connaissances externes, le MCP (Model Context Protocol) standardise les connexions aux données et aux outils, et l'ingénierie de contexte décide comment assembler tout cela pour former le contexte de la prochaine étape de l'agent. Le contexte d'un agent se compose de plusieurs couches : requête utilisateur, prompt système, outils, exemples few-shot, données issues du RAG, historique des messages et appels d'outils, mémoire, et état actuel (brouillon). Bien que les LLM modernes disposent de grandes fenêtres de contexte, le rapport de Chroma intitulé « Contexte pourri » (Context Rot) a montré qu'à mesure que le contexte utilisé s'agrandit, la qualité peut se dégrader, même sur des tâches simples. Drew Breunig a identifié quatre scénarios typiques de défaillance du contexte : l'empoisonnement du contexte (une erreur entre dans le contexte et se répète), la distraction du contexte (des informations nécessaires sont perdues parmi des données non pertinentes), la confusion du contexte (le modèle se mélange entre des outils ou documents similaires) et le conflit de contexte (des données contradictoires sans règles de priorité). LangChain propose quatre actions pour gérer le contexte : écrire (sauvegarder les informations importantes dans un état externe), sélectionner (choisir le contenu pertinent), compresser (compresser) et isoler (déplacer vers un contexte séparé).