Modell-Routing: Einfach? Bis die Realität zuschlägt

Das Routing zwischen KI-Modellen ist trügerisch komplex. In Tests mit 417 Aufgaben des AppWorld Test Challenge unter Verwendung des CodeAct-Agenten kostete GPT-4.1 155 Dollar (0,37 Dollar pro Aufgabe), während Claude Sonnet 79 Dollar (0,19 Dollar pro Aufgabe) kostete, obwohl GPT-4.1 niedrigere Preise pro Token hat. Der Unterschied ergab sich aus dem Caching: Die niedrigeren Cache-Lesepreise von Sonnet verschafften ihm einen großen Vorteil bei Agenten-Workloads mit wiederverwendetem Kontext. Der Schwierigkeitsgrad einer Aufgabe ist zum Zeitpunkt des Routings oft unsichtbar, und Router müssen gleichzeitig Kosten, Qualität, Latenz, Compliance und Zuverlässigkeit ausbalancieren. Die Latenz hängt von Infrastrukturfaktoren wie Hardware und Cache-Zustand ab, nicht nur von der Modellgröße. Die Autoren bauten einen Router, der Routing als Optimierungsproblem und nicht als Klassifikation behandelt, und erzeugten damit eine Kosten-Genauigkeits-Grenzkurve. Konfiguration 1 erreichte 84% Genauigkeit für 93 Dollar und 83 Sekunden, was die Kosten um 21% und die Latenz um 9% im Vergleich zum alleinigen Einsatz von Opus senkte, bei nur 4% Genauigkeitsverlust. Ein standardmäßiger schwierigkeitsbasierter Router (teal Diamond) hatte eine ähnliche Genauigkeit, aber höhere Kosten. Die Optimierung ist leichtgewichtig: etwa 6 Millisekunden und 2 Kilobyte Speicher pro Aufgabe.