Hoe je LLM-kosten met 70 keer kunt verlagen: ervaring met migratie van Claude Sonnet naar Qwen 3.5 Flash
Anthropic
Alibaba/Qwen
DeepSeek
JobPath migreerde van dure Claude Sonnet naar goedkope Qwen 3.5 Flash voor het genereren van jobkaarten, waardoor de maandelijkse kosten daalden van ongeveer $2000 naar ongeveer $30, terwijl de kwaliteit iets daalde van 4,48 naar 4,06 op een schaal van 1 tot 5. Het artikel beschrijft de selectie via evaluatie met een blinde beoordelaar, problemen met goedkope modellen (lege antwoorden, typefouten, veldtypfouten) en lessen over foutafhandeling, waaronder een facturatie-fout die 16.000 aanroepen in één nacht verspilde.
JobPath gebruikte aanvankelijk Claude Sonnet om ruwe vacaturelijsten te structureren in overzichtelijke kaarten, wat ongeveer $2000 per maand kostte. Om de kosten te drukken, evalueerden ze alternatieven met behulp van een evaluatieset van 50 echte vacatures, die blind werden beoordeeld door Opus. Ze kozen voor Qwen 3.5 Flash met $0,0007 per vacature ($30 per maand), met een kwaliteitsdaling van 4,48 naar 4,06. Goedkope modellen vertoonden disciplineproblemen: lege tool-aanroepen met HTTP 200, verkeerde veldtypen, typefouten in veldnamen en salarisverwarring. Ze voegden een beschermingslaag toe: herhaalpogingen, typeafdwinging, salarisplafondcontroles en terugval naar gedeeltelijke kaarten. Een cruciale les was dat factureringsfouten de hele batch onmiddellijk moeten stoppen; een defecte sleutel leidde eenmalig tot 16.000 verspilde aanroepen 's nachts. Voor kritieke gebruikersacties gebruiken ze fail-closed met fallback-providers. Interactieve en vlaggenschipfuncties blijven op premiummodellen draaien. De gemiddelde maandelijkse kosten daalden tot ~$30 zonder klachten van gebruikers.
Bron: Habr — хаб NLP —
origineel