Warum neuronale Netze Tokens fressen: Was in langen Chats passiert und wie man Kosten senkt

Der Artikel erörtert, warum KI-Modelle in langen Chats übermäßig viele Tokens verbrauchen und wie man Kosten senken kann. Er zitiert Anekdoten von Reddit: Ein Nutzer verbrauchte mit Claude 1,156 Milliarden Input-Tokens, ein anderer vergaß, einen Claude-Code-Agenten zu stoppen, der 26 Stunden lang alle 30 Minuten Pull Requests überprüfte, insgesamt 46 Läufe und Kosten von ungefähr 6000 Dollar. Der technische Grund für die hohen Kosten ist, dass jede neue Anfrage den gesamten angesammelten Kontext enthält, der auf 800.000 Tokens anwachsen kann. Anthropic warnt in seiner Dokumentation, dass die Kosten mit der Kontextgröße steigen, und empfiehlt, den Verlauf zu löschen oder Kompaktierung zu verwenden. Forschung von Chroma ("Context Rot") und eine Studie aus dem Jahr 2026 ("Diagnosing and Mitigating Context Rot") zeigen, dass die Leistung bei längeren Eingaben abnimmt, noch bevor das Kontextfenster erreicht wird, insbesondere bei ablenkenden Informationen. Prompt-Caching reduziert nur die Kosten für wiederholte Präfixe, nicht die Probleme unnötigen Kontexts. Bei KI-Agenten sind die Kosten verborgen, da sie viele Tool-Operationen autonom durchführen. Praktische Tipps umfassen das Aufteilen unabhängiger Aufgaben, die Verwendung von /clear und /compact in Claude Code, das Bereitstellen nur relevanter Dokumentabschnitte, das Cachen stabiler Anweisungen und die Auswahl der richtigen Modellstufe (Sonnet für Codierung, Opus für komplexe Argumentation, Haiku für einfache Subagenten-Aufgaben). Der Autor bewirbt auch SYNTX.AIs LLM Studio, das über 100 KI-Modelle und die Möglichkeit bietet, Modelle innerhalb eines Dialogs zu wechseln, mit dem Aktionscode CTRLAI für 20 % Rabatt. Der Artikel schließt mit der Feststellung, dass Prompt-Engineering nun das Verwerfen unnötiger Informationen beinhalten muss.