AIエージェント用ナレッジベースを構築し、自分の医療検査結果でテストする

著者はIskraのバックエンド開発者で、AIエージェント用のナレッジベースを構築し、自分の健康診断結果でテストしました。結果を熟知しているため、エラーが明らかになりました。このシステムは検索インデックスではなく、準備されたファイルシステムのように機能します。各ファイルにはYAMLヘッダー付きのミラー.mdが対応し、エージェントはls、grep、read、リンク追跡でナビゲートします。このアプローチは、複数ドキュメントの回答とソース引用において古典的なRAGよりも優れており、エージェントはチャンクではなくドキュメント全体を読みます。しかし、エージェントがナレッジベースへのアクセスを忘れることがあり、添付ファイルが見えないと主張した後、再試行で7つすべてを読み、正しい要約を提供した例がありました。追加の問題には、ファイル名変更の不整合（一部のタイトルがラテン語）、引用の言い換えの不正確さ、複雑なクエリごとに約10〜15回のツール呼び出しによるトークンコストの増加があります。また、著者はこのシステムが完全ではないと指摘します。モデルはソースを引用しても幻覚を見ることがあるため、サーバーサイドのソースリストが重要です。