Penghematan pada LLM: Model China Tiba-tiba Mulai Menulis dalam Karakter China

Seorang pengembang yang menjalankan bot umpan berita bilingual dengan sekitar 936 panggilan LLM per hari mencari model yang lebih murah di OpenRouter. Dari 17 model gratis, hanya 3 yang dapat digunakan, dan itu pun memiliki masalah seperti kecepatan atau kurangnya dukungan JSON. Pengembang kemudian menemukan model berbayar asal China, inclusionai/ling-2.6-flash, dengan harga $0,010 per juta token input, yang 8 kali lebih murah dan 4 kali lebih cepat daripada deepseek-v4-flash ($0,098) yang sebelumnya digunakan. Namun, setelah diterapkan, bot mulai mengeluarkan karakter China di dalam judul berita Rusia. Pengujian menunjukkan 17% ringkasan pendek dan 57% analisis panjang mengandung teks China. Solusinya adalah menambahkan detektor regex CJK: jika ditemukan karakter China, permintaan yang sama dikirim ulang ke model deepseek-v4-flash yang bersih. Setelah perbaikan, kontaminasi turun menjadi 0% (0 dari 8). Pengembang juga belajar tiga pelajaran tak terduga: biaya didorong oleh sumber berita, bukan jumlah pengguna; model gratis berhenti bekerja ketika saldo akun menjadi negatif bahkan untuk model $0; dan parameter max_tokens yang hilang menyebabkan reservasi token yang sangat besar. Jalur pipa akhir menggunakan ling-2.6-flash sebagai primer, deepseek-v4-flash sebagai cadangan untuk pembersihan CJK, dan gemma:free sebagai pilihan terakhir. Biaya bulanan turun dari $14,8 menjadi sekitar $8,6, penghematan 42% bukannya 8 kali lipat yang diharapkan karena pembayaran ganda untuk analisis panjang.