Saving on LLM: Chinese Model Unexpectedly Started Writing in Chinese Characters

このニュースの著者は、LLM（1日あたり約936回の呼び出し）を使ってニュースをカテゴリ分類、翻訳、トーン分析、パース処理するバイリンガルニュースフィードを運営している。コスト削減のため、OpenRouterの無料モデルを試したが、そのほとんどはデータポリシーにより利用できず、機能するものは速度が遅すぎた。そこで、安価な有料モデルであるinclusionai/ling-2.6-flash（入力トークン100万あたり0.010ドル、deepseek-v4-flashは0.098ドル）をテストした。実際のプロンプトでは、同程度の品質（カテゴリ4/4、パース6/6）を示し、速度は2.4秒（対10秒）で、8倍安価だった。しかし1時間後、フィードに中国語の漢字と句読点を含む見出しが現れた。調査の結果、このモデルは中国製で、短い出力では17%のケースで漢字が出現し、長いパースでは57%に達した。一方、DeepSeek V4 Flashではエラーは発生しなかった。著者は漢字検出器（CJK文字の正規表現）を追加し、「クリーンな」DeepSeek V4 Flashモデルへの再問い合わせを行うことで、漏れをゼロにした。現在のチェーンは以下の通り：Ling 2.6 Flashがメイン、DeepSeek V4 Flashが漢字をクリーンアップ、Gemma:freeがプロバイダ障害時のバックアップとなる。最終的な月間コスト削減は、純粋なDeepSeekでの14.8ドルに対し約8.6ドルだが、長いパースの57%で二重支払いが発生したため、期待より少なかった。主な教訓：安価なモデルは測定可能な指標では優れていても、著者が確認しなかった部分（この場合は応答の言語）で失敗する可能性がある。