Domain-Routed Agents vs. Naive RAG: A Comparison on the Expert System Task for a Tabletop Role-Playing Game
Langfuse
The author of the project, inspired by the task of creating an expert system for the universe of Vampire: The Masquerade, compares two approaches: classic RAG and a multi-agent architecture with domain routing. For evaluation, they collected a dataset of 40 questions of varying difficulty levels. The results show that the agentic approach outperforms naive RAG in terms of answer completeness for cross-domain queries.
Penulis, seorang Narator pemula dalam permainan peran meja Vampire: The Masquerade, menghadapi kebutuhan untuk menemukan aturan dan latar dengan cepat. Ia membuat sistem pakar berdasarkan wiki resmi, dengan mem-parsing 176 file (~750 ribu token) yang dibagi ke dalam 7 domain. Alih-alih menggunakan RAG (Retrieval-Augmented Generation) klasik, ia memilih grafik multi-agen pada LangGraph, di mana Router mengarahkan permintaan ke pakar domain, dan para pakar tersebut membaca file yang diperlukan sendiri. Untuk evaluasi, penulis mengumpulkan kumpulan data 40 pertanyaan (10 level 1 — pencarian fakta, 10 level 2 — sintesis, 10 level 3 — lintas domain, 5 tentang perlindungan dari halusinasi, 5 di luar domain). Dua pendekatan dibandingkan: RAG vektor naif dan agen multi-agen. Agen menunjukkan kualitas yang lebih baik pada pertanyaan lintas domain, meskipun kalah dengan RAG dalam hal kecepatan dan biaya.
Sumber: Habr — хаб NLP —
asli