Ingeniería de Contexto: Qué Es, Cómo Trabajar con el Contexto de Agentes LLM y Por Qué Te Pagan por Ello

La ingeniería de contexto es un conjunto de estrategias para recopilar y mantener el contexto óptimo durante la inferencia de los modelos de lenguaje de gran escala (LLM, por sus siglas en inglés), donde el contexto óptimo es el conjunto mínimo de tokens útiles. Se diferencia de la ingeniería de prompts, que solo maneja instrucciones, mientras que la ingeniería de contexto gestiona todo lo que el modelo recibe junto con la instrucción: historial, documentos, herramientas, memoria y estado. La generación aumentada por recuperación (RAG, por sus siglas en inglés) incorpora conocimiento externo, el Protocolo de Contexto de Modelo (MCP, por sus siglas en inglés) estandariza las conexiones con datos y herramientas, y la ingeniería de contexto decide cómo ensamblar todo esto en el contexto para el siguiente paso del agente. El contexto de un agente consta de varias capas: consulta del usuario, prompt del sistema, herramientas, ejemplos de pocas iteraciones (few-shot), datos de RAG, historial de mensajes y llamadas a herramientas, memoria y estado actual (borrador). Aunque los LLM modernos tienen grandes ventanas de contexto, el informe "Context Rot" de Chroma mostró que, a medida que crece el contexto utilizado, la calidad puede degradarse incluso en tareas simples. Drew Breunig identificó cuatro escenarios típicos de fallo de contexto: envenenamiento del contexto (un error entra en el contexto y se repite), distracción del contexto (la información necesaria se pierde entre datos irrelevantes), confusión del contexto (el modelo se confunde entre herramientas o documentos similares) y choque de contexto (datos conflictivos sin reglas de prioridad). LangChain propone cuatro acciones para gestionar el contexto: escribir (guardar información importante en un estado externo), seleccionar (elegir contenido relevante), comprimir (comprimir) y aislar (mover a un contexto separado).