Domain-Routed Agents vs. Naive RAG: A Comparison on the Expert System Task for a Tabletop Role-Playing Game
Langfuse
The author of the project, inspired by the task of creating an expert system for the universe of Vampire: The Masquerade, compares two approaches: classic RAG and a multi-agent architecture with domain routing. For evaluation, they collected a dataset of 40 questions of varying difficulty levels. The results show that the agentic approach outperforms naive RAG in terms of answer completeness for cross-domain queries.
著者は、テーブルトークRPG「Vampire: The Masquerade」の初心者ストーリーテラーとして、ルールやロアを素早く検索する必要性に直面しました。そこで、公式Wikiベースのエキスパートシステムを構築。176ファイル（約750Kトークン）を7つのドメインに分割してパースしました。従来のRAGの代わりに、LangGraphを用いたマルチエージェントグラフを選択。Routerがクエリをドメインエキスパートに振り分け、各エキスパートが必要なファイルを直接読み取ります。評価用に40の質問からなるデータセットを作成（レベル1：事実検索10問、レベル2：統合10問、レベル3：クロスドメイン10問、幻覚防止5問、ドメイン外5問）。2つのアプローチ（ナイーブベクターRAGとマルチエージェントエージェント）を比較した結果、エージェントはクロスドメイン質問で優れた品質を示したものの、速度とコストではRAGに劣りました。
出典: Habr — хаб NLP —
原文