Domain-Routed Agents vs. Naive RAG: A Comparison on the Expert System Task for a Tabletop Role-Playing Game
Langfuse
The author of the project, inspired by the task of creating an expert system for the universe of Vampire: The Masquerade, compares two approaches: classic RAG and a multi-agent architecture with domain routing. For evaluation, they collected a dataset of 40 questions of varying difficulty levels. The results show that the agentic approach outperforms naive RAG in terms of answer completeness for cross-domain queries.
Yeni başlayan bir Anlatıcı olarak masaüstü rol yapma oyunu Vampire: The Masquerade'de hızlıca kuralları ve lore'u bulma ihtiyacıyla karşılaştım. Resmî wiki'yi temel alarak, 7 alana ayrılmış 176 dosyayı (yaklaşık 750K token) tarayarak bir uzman sistemi oluşturdum. Klasik Retrieval-Augmented Generation (RAG) yerine LangGraph üzerinde çoklu etmenli bir grafik seçtim; burada Router, sorguyu alan uzmanlarına yönlendiriyor ve onlar da gerekli dosyaları kendileri okuyor. Değerlendirme için 40 soruluk bir veri seti oluşturdum (10'u Seviye 1 - gerçek arama, 10'u Seviye 2 - sentez, 10'u Seviye 3 - çapraz alan, 5'i halüsinasyon savunması, 5'i alan dışı). İki yaklaşım karşılaştırıldı: basit vektör RAG ve çoklu etmenli ajan. Ajan, hız ve maliyet açısından RAG'a geri kalsa da, çapraz alan sorularında daha iyi kalite gösterdi.
Kaynak: Habr — хаб NLP —
orijinal