LLM節約：中国のモデルが突然中国語で書き出す

バイリンガルニュースフィードボットを運営する開発者が、1日あたり約936回のLLM呼び出しを行っており、OpenRouterでより安価なモデルを探していました。17の無料モデルのうち、利用可能だったのはわずか3つで、速度の問題やJSONサポートの欠如などがありました。そこで開発者は、有料の中国製モデルであるinclusionai/ling-2.6-flashを、入力トークン100万あたり0.010ドルで見つけました。これは、以前使用していたdeepseek-v4-flash（0.098ドル）よりも8倍安く、4倍高速です。しかし、デプロイ後、ボットがロシアのニュース見出しに中国語の文字を出力し始めました。テストの結果、短い要約の17％、長い分析の57％に中国語のテキストが含まれていることがわかりました。解決策は、CJK正規表現検出器を追加することでした。中国語の文字が見つかった場合、同じリクエストをクリーンなdeepseek-v4-flashモデルに再送信するようにしました。修正後、汚染率は0％（うち8件中0件）に低下しました。また、開発者は予期せぬ3つの教訓を得ました。コストはユーザー数ではなくニュースソースによって決まること、無料モデルはアカウント残高がマイナスになると0ドルのモデルでも動作しなくなること、そしてmax_tokensパラメータがないと巨大なトークン予約が発生することです。最終的なパイプラインは、ling-2.6-flashをプライマリ、deepseek-v4-flashをCJKクリーンアップ用のフォールバック、gemma:freeを最終手段として使用します。月間コストは14.8ドルから約8.6ドルに低下し、期待された8倍ではなく42％の節約となりました。これは、長い分析に対して二重に支払いが発生するためです。