Cara mengurangi biaya LLM hingga 70 kali lipat: pengalaman migrasi dari Claude Sonnet ke Qwen 3.5 Flash
Anthropic
Alibaba/Qwen
DeepSeek
JobPath bermigrasi dari Claude Sonnet yang mahal ke Qwen 3.5 Flash yang murah untuk pembuatan kartu pekerjaan, memotong biaya bulanan dari ~$2000 menjadi ~$30 sementara kualitas sedikit menurun dari 4,48 menjadi 4,06 pada skala 1-5. Artikel ini merinci pemilihan melalui evaluasi dengan juri buta, masalah dengan model murah (respons kosong, ketidakcocokan tipe, salah ketik bidang), dan pelajaran penanganan kesalahan termasuk kesalahan penagihan yang menghabiskan 16.000 panggilan dalam satu malam.
Awalnya JobPath menggunakan Claude Sonnet untuk menyusun daftar pekerjaan mentah menjadi kartu terstruktur, dengan biaya sekitar $2000 per bulan. Untuk memangkas biaya, mereka mengevaluasi alternatif menggunakan set evaluasi dari 50 lowongan nyata, yang dinilai secara buta oleh Opus. Mereka memilih Qwen 3.5 Flash dengan biaya $0,0007 per lowongan ($30 per bulan), dengan penurunan kualitas dari 4,48 menjadi 4,06. Model murah menunjukkan masalah disiplin: panggilan alat kosong dengan HTTP 200, tipe bidang yang salah, kesalahan ketik pada nama bidang, dan kebingungan gaji. Mereka menambahkan lapisan perlindungan: percobaan ulang, paksaan tipe, pemeriksaan batas gaji, dan penggantian kartu parsial. Pelajaran kritis adalah bahwa kesalahan penagihan harus menghentikan seluruh batch segera; suatu saat kunci mati menyebabkan 16.000 panggilan terbuang dalam semalam. Untuk tindakan pengguna yang kritis, mereka menggunakan gagal-tertutup dengan penyedia cadangan. Fitur interaktif and unggulan tetap menggunakan model premium. Rata-rata biaya bulanan turun menjadi ~$30 tanpa keluhan pengguna.
Sumber: Habr — хаб NLP —
asli