検索およびRAGシステムのテストチェックリスト：6つのレベルのチェック

検索エンジンとRAGアーキテクチャのテストに関する詳細なチェックリストがHabrで公開された。著者らはテストの6つのレベルを特定している。レベル0は機能テスト（指定フィールドによる検索、タイポ修正、空クエリや特殊文字の処理）。レベル1は古典的な情報検索（Information Retrieval）で、ラベル付きゴールデンクエリセットに対してPrecision@k、Recall@k、NDCG、MRR、MAPを測定。レベル2はRAGのための取得コンテキストの品質（Contextual PrecisionとRecall）。レベル3はRAG生成の品質（Faithfulness、Hallucination Rate、Answer Relevance、Completeness、Citationの正確性）。レベル4はナレッジグラフを通じたエージェンシーとナビゲーション（マルチホップ、ツールの正確性、タスク完了、計画遵守）。レベル5は不完全で関連性の低いデータの処理（abstention、過剰な外挿、古いデータと現在のデータの矛盾）。各レベルに対して推奨ツールが提示されている。レベル0にはpytest、Hypothesis、Postman、k6。レベル1にはranx、trec_eval。レベル2～4にはdeepeval、RAGAS、TruLens。レベル5にはカスタムG-Eval。特に強調されているのは、順を追ったテストの必要性である。タイポによって文書が見つからないなどの基本的なテストを検索エンジンがパスしていない場合、RAGのメトリクスを評価しても意味がない。