Domain-Routed Agents vs. Naive RAG: A Comparison on the Expert System Task for a Tabletop Role-Playing Game
Langfuse
The author of the project, inspired by the task of creating an expert system for the universe of Vampire: The Masquerade, compares two approaches: classic RAG and a multi-agent architecture with domain routing. For evaluation, they collected a dataset of 40 questions of varying difficulty levels. The results show that the agentic approach outperforms naive RAG in terms of answer completeness for cross-domain queries.
Автор, начинающий Рассказчик в настольной ролевой игре Vampire: The Masquerade, столкнулся с необходимостью быстро находить правила и лор. Он создал экспертную систему на основе официальной вики, спарсив 176 файлов (~750K токенов), разбитых на 7 доменов. Вместо классического RAG он выбрал мультиагентный граф на LangGraph, где Router направляет запрос экспертам по доменам, а те сами читают нужные файлы. Для оценки автор собрал датасет из 40 вопросов (10 уровня 1 — поиск факта, 10 уровня 2 — синтез, 10 уровня 3 — кросс-доменные, 5 на защиту от галлюцинаций, 5 вне домена). Сравнивались два подхода: наивный векторный RAG и мультиагентный агент. Агент показал лучшее качество на кросс-доменных вопросах, хотя уступает RAG по скорости и стоимости.
Nguồn: Habr — хаб NLP —
bản gốc