Domain-Routed Agents vs. Naive RAG: Ein Vergleich bei der Expertenaufgabe für ein Tabletop-Rollenspiel
Langfuse
Der Autor des Projekts, inspiriert von der Aufgabe, ein Expertensystem für das Universum von Vampire: The Masquerade zu erstellen, vergleicht zwei Ansätze: klassisches RAG und eine Multi-Agenten-Architektur mit Domain-Routing. Zur Evaluierung sammelten sie einen Datensatz mit 40 Fragen unterschiedlicher Schwierigkeitsgrade. Die Ergebnisse zeigen, dass der agentische Ansatz das naive RAG hinsichtlich der Vollständigkeit der Antworten für domänenübergreifende Abfragen übertrifft.
Ein Autor, der sich als Erzähler für das Pen-&-Paper-Rollenspiel Vampire: Die Maskerade einarbeitet, stand vor der Notwendigkeit, Regeln und Hintergrundwissen schnell nachschlagen zu können. Er entwickelte ein Expertensystem auf Basis des offiziellen Wikis, indem er 176 Dateien (etwa 750.000 Tokens) scrapte, die in sieben Domänen unterteilt sind. Anstatt eines klassischen Retrieval-Augmented Generation (RAG) wählte er einen multiagentenbasierten Graphen mit LangGraph, bei dem ein Router Anfragen an domänenspezifische Experten weiterleitet, die dann selbst die benötigten Dateien lesen. Zur Evaluierung erstellte der Autor einen Datensatz mit 40 Fragen (10 der Stufe 1 – Faktenfindung, 10 der Stufe 2 – Synthese, 10 der Stufe 3 – domänenübergreifend, 5 zur Halluzinationsvermeidung, 5 außerhalb der Domäne). Zwei Ansätze wurden verglichen: ein naiver vektorbasierter RAG und der multiagentenbasierte Agent. Der Agent zeigte eine bessere Qualität bei domänenübergreifenden Fragen, war jedoch langsamer und teurer als der RAG.
Quelle: Habr — хаб NLP —
Original