Domain-Routed Agents vs. Naïves RAG: Ein Vergleich bei einer Expertensystem-Aufgabe für ein Tabletop-Rollenspiel

Der Autor, ein Erzähler-Neuling für Vampire: The Masquerade, stand vor der Herausforderung, hunderte Seiten voller Regeln auswendig zu lernen. Zur Unterstützung baute er ein Expertensystem auf, das ein offizielles Community-Wiki als Wissensbasis nutzt. Das Wiki wurde mittels Playwright analysiert, bereinigt und in sieben Bereiche unterteilt: Mechanik, Disziplinen, Überlieferung, Clans, Sekten, Fertigkeiten und Eigenschaften. Dies ergab 176 Markdown-Dateien (ca. 750.000 Token). Statt naivem RAG (Retrieval-Augmented Generation), das bei bereichsübergreifenden Abfragen aufgrund von Aufteilung und semantischer Distanz versagt, implementierte der Autor eine Multi-Agenten-Architektur mit LangGraph. Das System besteht aus einer Blackboard (gemeinsamer Zustand), einem Router, der relevante Bereiche identifiziert, parallelen Experten-Agenten, die mithilfe eines read_document-Tools nur die notwendigen Dokumente lesen, und einem Synthesizer, der die endgültige Antwort erstellt. Zur Evaluierung wurden 40 Fragen erstellt: 10 faktische, 10 synthetische, 10 bereichsübergreifende, 5 Halluzinationstests (alte Überlieferung) und 5 bereichsfremde. Für jede Frage wurde eine Checkliste mit erforderlichen Fakten erstellt. Das System wurde mit einer naiven Vektor-RAG-Baseline verglichen, wobei Langfuse für Protokollierung und Bewertung verwendet wurde.