Wie Sie LLM-Kosten um das 70-fache senken: Erfahrungen beim Wechsel von Claude Sonnet zu Qwen 3.5 Flash
Anthropic
Alibaba/Qwen
DeepSeek
JobPath wechselte vom teuren Claude Sonnet zum günstigen Qwen 3.5 Flash für die Erstellung von Jobkarten und senkte die monatlichen Kosten von etwa 2000 $ auf etwa 30 $, während die Qualität leicht von 4,48 auf 4,06 auf einer Skala von 1 bis 5 fiel. Der Artikel beschreibt die Auswahl mittels Evaluierung durch einen blinden Bewerter, Probleme mit günstigen Modellen (leere Antworten, Typenkonflikte, Feldtippfehler) und Lektionen zur Fehlerbehandlung, darunter ein Abrechnungsfehler, der in einer Nacht 16.000 Aufrufe verschwendete.
JobPath nutzte zunächst Claude Sonnet, um rohe Stellenanzeigen in strukturierte Karten zu überführen, was monatlich etwa 2000 Dollar kostete. Um Kosten zu senken, evaluierten sie Alternativen anhand eines Evaluierungssatzes von 50 echten Stellenanzeigen, die blind von Opus bewertet wurden. Sie entschieden sich für Qwen 3.5 Flash zu 0,0007 Dollar pro Stelle (30 Dollar pro Monat), mit einem Qualitätsabfall von 4,48 auf 4,06. Günstige Modelle zeigten Disziplinprobleme: leere Tool-Aufrufe mit HTTP-200, falsche Feldtypen, Tippfehler in Feldnamen und Gehaltsverwirrung. Sie fügten eine Schutzschicht hinzu: Wiederholungsversuche, Typumwandlung, Gehaltsobergrenzen-Prüfungen und Fallback auf Teilkarten. Eine wichtige Erkenntnis war, dass Abrechnungsfehler den gesamten Batch sofort stoppen sollten; einmal verursachte ein ungültiger Schlüssel 16.000 verschwendete Aufrufe über Nacht. Für kritische Benutzeraktionen verwenden sie Fail-Closed mit Fallback-Anbietern. Interaktive und Premiumfunktionen bleiben auf Premiummodellen. Die durchschnittlichen monatlichen Kosten sanken auf etwa 30 Dollar, ohne Beschwerden von Benutzern.
Quelle: Habr — хаб NLP —
Original