LLM-wiki 対 RAG：企業文書向け回答生成手法の比較

著者は、文書に基づく回答を生成する2つの手法、すなわちLLM-wiki（Andrej Karpathyのアイデアに着想を得たもの）と、ベクトル検索を用いたシンプルなRAGシステムを比較する実験を行った。ソース文書は、gemma4:31bモデルが作成した「指令401号（Directive 401）」という約10万文字の合成企業文書である。質問（事実に基づくもの20問、ケースベースのもの20問）は、gpt-5.1モデルによって合成された。wikiを構築するために、ソース文書を25の部分（24の記事とタイトルページ）に分割し、ObsidianにAGENTS.mdファイルを追加した上で、Claude Code（Sonnet 5）を用いて、20分で32ページのwikiを生成し、コストは3.7ドル未満だった。wikiエージェントは、Navigator（gpt-4.1-mini）、Linker（gpt-4.1-mini）、Context Collector、Synthesizer（gpt-4.1）の4つのコンポーネントで構成されていた。RAGシステムは、LangChain、ChromaDB、FastAPI、およびローカル埋め込みを使用し、記事番号の第2レベルに基づいてチャンク（合計144チャンク）が作成された。評価にはPrecision（適合率）とRecall（再現率）の指標が用いられた。回答からの事実が、全文を参照したLLMによる回答（基準）と比較された。3つのwikiエージェント構成（ソースへのアクセスなし、アクセスあり、アクセスあり＋リンカー）の結果、LLM-wikiのRecall中央値は約0.72であり、RAGの0.54～0.57に対して、ウィルコクソン検定でp値が10⁻⁸～10⁻¹¹となった。Precisionについては、2つの構成でのみ統計的に有意な差が見られ（p < 0.05）、リンカーを追加した場合には差異が完全に消失した（p = 0.348）。リンカーは統計的に有意な改善をもたらさなかった。ソースへのアクセスは事実質問に対して適度に効果があったが、その影響はわずかだった。著者は、結論はこのデータセットに限定されると指摘している。