De LLM a Agente: Comprendiendo las Capas entre el Modelo y la Aplicación

El artículo describe el camino completo desde un LLM hasta un agente. En esencia, el modelo predice el siguiente token en un bucle autorregresivo, utilizando un tokenizador para convertir texto en IDs de token y un detokenizador para convertir de vuelta. La caché KV acelera la generación al almacenar pares clave-valor anteriores. El texto de entrada que espera el modelo no es JSON en bruto, sino un prompt formateado según la plantilla de chat del modelo, que es una plantilla Jinja que convierte una lista de mensajes en una cadena con tokens especiales (por ejemplo, ChatML, Llama 3). Para modelos de razonamiento, el prompt puede incluir un bloque <think>; si el modelo gasta demasiados tokens en el razonamiento, puede agotar el presupuesto de generación antes de producir una respuesta final. El artículo también explica que la facturación y la longitud de contexto se basan en el prompt tokenizado después de la plantilla de chat, no en el JSON de la API. El almacenamiento del modelo en disco incluye los pesos safetensors, config.json, archivos de tokenizador y la plantilla de chat en tokenizer_config.json. Los entornos de ejecución como llama.cpp cargan un archivo GGUF que agrupa estos componentes, proporcionando una interfaz de alto nivel de texto a texto.