LLMコストを70分の1に削減する方法：Claude SonnetからQwen 3.5 Flashへの移行経験

JobPathは当初、Claude Sonnetを使用して生の求人情報を構造化カードに変換しており、月額約2000ドルのコストがかかっていました。コスト削減のため、50件の実在する求人からなる評価セットを用いて代替案を評価し、Opusによるブラインド評価を実施しました。その結果、1件あたり0.0007ドル（月額30ドル）のQwen 3.5 Flashを選択しましたが、品質スコアは4.48から4.06に低下しました。安価なモデルでは、HTTP 200を返す空のツール呼び出し、誤ったフィールドタイプ、フィールド名のタイポ、給与の混乱など、規律に関する問題が見られました。そこで、リトライ、型強制、給与上限チェック、部分カードへのフォールバックといった保護層を追加しました。重要な教訓として、課金エラーが発生した場合は直ちにバッチ全体を停止すべきで、実際に1度、無効なキーにより一晩で16,000回の無駄な呼び出しが発生しました。重要なユーザーアクションに対しては、フォールバックプロバイダーを用いたフェイルクローズ方式を採用しています。対話型機能やフラッグシップ機能は、引き続きプレミアムモデルで動作しています。月間平均コストは約30ドルに低下し、ユーザーからの苦情はありません。