Von LLM zu Agent: Die Schichten zwischen Modell und Anwendung verstehen

Der Artikel beschreibt den vollständigen Weg von einem LLM zu einem Agenten. Im Kern sagt das Modell in einer autoregressiven Schleife das nächste Token voraus, wobei ein Tokenizer Text in Token-IDs umwandelt und ein Detokenizer die Rückumwandlung vornimmt. Der KV-Cache beschleunigt die Generierung, indem er zuvor berechnete Schlüssel-Wert-Paare speichert. Der vom Modell erwartete Eingabetext ist kein rohes JSON, sondern ein gemäß der Chat-Vorlage des Modells formatierter Prompt. Dabei handelt es sich um eine Jinja-Vorlage, die eine Liste von Nachrichten in einen String mit speziellen Token umwandelt (z. B. ChatML, Llama 3). Bei Reasoning-Modellen kann der Prompt einen <think>-Block enthalten; wenn das Modell zu viele Token für das Reasoning verbraucht, kann das Generierungsbudget aufgebraucht sein, bevor eine endgültige Antwort produziert wird. Der Artikel erklärt außerdem, dass Abrechnung und Kontextlänge auf dem tokenisierten Prompt nach der Chat-Vorlage basieren, nicht auf dem API-JSON. Die Modellspeicherung auf der Festplatte umfasst safetensors-Gewichte, config.json, Tokenizer-Dateien und die chat_template in tokenizer_config.json. Laufzeitumgebungen wie llama.cpp laden eine GGUF-Datei, die diese Komponenten bündelt und eine High-Level-Schnittstelle von Text zu Text bereitstellt.