ドメインルーティングエージェント vs ナイーブRAG：テーブルトークRPGのエキスパートシステムタスクにおける比較

初めて『Vampire: The Masquerade』のストーリーテラーを務めることになった筆者は、何百ページにも及ぶルールを暗記するという課題に直面した。そこで、公式コミュニティWikiを知識ベースとして利用したエキスパートシステムを構築した。WikiはPlaywrightを使って解析し、クリーニングした上で、以下の7つのドメインに分割した：メカニクス（Mechanics）、ディシプリン（Disciplines）、ロア（Lore）、クラン（Clans）、セクト（Sects）、スキル（Skills）、アトリビュート（Attributes）。これにより、合計176個のマークダウンファイル（約750Kトークン）が生成された。チャンキングと意味的距離の問題によりクロスドメインのクエリでは失敗する単純なRAG（検索拡張生成）ではなく、筆者はマルチエージェントのLangGraphアーキテクチャを実装した。このシステムは、ブラックボード（共有状態）、関連ドメインを特定するルーター、read_documentツールを介して必要な文書のみを読み取る並列エキスパートエージェント、そして最終回答を生成するシンセサイザーで構成される。評価のため、40の質問を作成した：事実確認10問、統合10問、クロスドメイン10問、幻覚テスト（旧ロア）5問、ドメイン外5問。各質問について、必要な事実のチェックリストを作成した。このシステムは、Langfuseを使用してログ記録とスコアリングを行い、単純なベクトルRAGベースラインと比較された。