Saving on LLM: Chinese Model Unexpectedly Started Writing in Chinese Characters

Haber yazarı, her haberin kategorizasyon, çeviri, ton ve ayrıştırma için LLM'den (günde yaklaşık 936 çağrı) geçtiği iki dilli bir haber akışı yönetiyor. Tasarruf amacıyla OpenRouter'ın ücretsiz modellerini denedi ancak çoğu veri politikaları nedeniyle kullanılamazken, çalışanlar çok yavaştı. Ardından uygun fiyatlı ücretli model inclusionai/ling-2.6-flash'ı test etti (milyon giriş tokeni başına $0,010'a karşılık deepseek-v4-flash $0,098). Gerçek promptlarda aynı kaliteyi gösterdi (kategorilerde 4/4, ayrıştırmada 6/6), hızı 2,4 saniyeydi (10 saniyeye karşı) ve 8 kat daha ucuzdu. Ancak bir saat sonra akışta Çince karakterler ve noktalama işaretleri içeren bir başlık belirdi. Modelin Çin yapımı olduğu ortaya çıktı: kısa çıktılarda karakterler %17 oranında, uzun ayrıştırmalarda ise %57 oranında görülürken, DeepSeek V4 Flash hiç hata vermedi. Yazar, bir karakter dedektörü (CJK sembolleri için düzenli ifade) ve 'temiz' model DeepSeek V4 Flash'a yeniden sorgulama ekleyerek sızıntıları sıfıra indirdi. Artık zincir şu şekilde: Ling 2.6 Flash ana model, DeepSeek V4 Flash karakterleri temizliyor, Gemma:free ise sağlayıcı arızası durumunda yedek olarak çalışıyor. Nihai tasarruf, saf DeepSeek ile aylık $14,8'e karşı yaklaşık $8,6 oldu, ancak %57'lik uzun ayrıştırmaların çift ücretlendirilmesi nedeniyle beklenenden daha düşük kaldı. Ana çıkarım: Ucuz bir model ölçülen metriklerde mükemmel olabilir, ancak yazarın kontrol etmeyi düşünmediği bir noktada, bu durumda yanıt dilinde, başarısız olabilir.