LLM maliyetleri 70 kat nasıl düşürülür: Claude Sonnet'ten Qwen 3.5 Flash'a geçiş deneyimi

JobPath başlangıçta ham iş ilanlarını yapılandırılmış kartlara dönüştürmek için Claude Sonnet kullanıyordu ve bu aylık yaklaşık 2000 dolara mal oluyordu. Maliyetleri düşürmek amacıyla, 50 gerçek pozisyonluk bir değerlendirme seti kullanarak alternatifleri test ettiler; bu set Opus tarafından körlemesine değerlendirildi. Pozisyon başına 0,0007 dolar (aylık 30 dolar) maliyetle Qwen 3.5 Flash'ı seçtiler ve kalite puanı 4,48'den 4,06'ya düştü. Ucuz modellerde disiplin sorunları ortaya çıktı: HTTP 200 ile boş araç çağrıları, yanlış alan türleri, alan adlarında yazım hataları ve maaş karışıklığı. Bir koruma katmanı eklediler: yeniden denemeler, tür zorlama, maaş limit kontrolleri ve kısmi kart geri dönüşü. Kritik bir ders, faturalama hatalarının tüm partiyi anında durdurması gerektiğiydi; bir keresinde geçersiz bir anahtar bir gecede 16.000 gereksiz çağrıya neden oldu. Kritik kullanıcı eylemleri için, geri dönüş sağlayıcılarla birlikte başarısız-kapalı yaklaşımını kullanıyorlar. Etkileşimli ve amiral gemisi özellikler premium modellerde kalmaya devam ediyor. Ortalama aylık maliyet, kullanıcı şikayeti olmaksızın yaklaşık 30 dolara düştü.