RAG: Measurements Matter More Than Code. The Story of a Bot Where 'Correct' Improvements Worsened Results

開発者が暗号チャットユーザー向けのアドレスサポートRAGボットを作成しました。このボットは類似の問い合わせを見つけ、管理者の既成回答を表示することを目的としています。390万件のメッセージからなるコーパスと51件の質問からなる評価セットを用いて、純粋なベクトル検索のベースラインhit@3は74%でした。システム改善の試みとして、BM25を用いたハイブリッド検索とクロスエンコーダーリランカーを追加しましたが、どちらの変更もメトリクスを低下させました。ハイブリッド検索では55%、リランカーでは64%、ハイブリッド+リランカーでは57%でした。分析の結果、BM25はサンプル質問コーパスに正確なトークンが存在しないため効果がなく、リランカーは元々良好だったランキングを損なうことがわかりました。唯一有効だった変更は、ボットの役割に合わせた閾値の調整でした（最終的な回答者ではなく、補助的な役割として）。これにより、追加のコードを必要とせずに有用な出力が向上しました。主な教訓は、RAGにおいて重要なのは業界標準のデフォルト設定ではなく、正直な測定とデータのクリーニングであるということです。