Agents orientés par domaine vs RAG naïf : une comparaison sur une tâche de système expert pour un jeu de rôle sur table
Langfuse
Cet article décrit le développement d'un système expert pour le jeu de rôle sur table Vampire : La Mascarade, comparant une approche multi-agent orientée par domaine avec un RAG vectoriel naïf. Les auteurs ont constitué une base de connaissances de 176 fichiers (~750K tokens) provenant d'un wiki officiel, classés en 7 domaines. Ils ont construit un agent basé sur LangGraph avec un routeur, des experts de domaine parallèles et un synthétiseur, et l'ont testé sur 40 questions de complexité variable. L'agent a surpassé le RAG naïf dans la récupération de faits trans-domaines et le traitement de requêtes hors périmètre.
L'auteur, un conteur débutant pour Vampire : La Mascarade, a été confronté au défi de mémoriser des centaines de pages de règles. Pour l'aider, il a construit un système expert en utilisant un wiki communautaire officiel comme base de connaissances. Le wiki a été parsé via Playwright, nettoyé et divisé en 7 domaines : Mécaniques, Disciplines, Histoire, Clans, Sectes, Compétences et Attributs, totalisant 176 fichiers Markdown (environ 750 000 tokens). Au lieu d'un RAG naïf, qui échoue sur les requêtes inter-domaines en raison du découpage et de la distance sémantique, l'auteur a implémenté une architecture multi-agents LangGraph. Le système comprend un Tableau noir (état partagé), un Routeur qui identifie les domaines pertinents, des agents Experts parallèles qui lisent uniquement les documents nécessaires via un outil read_document, et un Synthétiseur qui produit la réponse finale. Pour l'évaluation, 40 questions ont été créées : 10 factuelles, 10 de synthèse, 10 inter-domaines, 5 tests d'hallucination (ancien lore) et 5 hors domaine. Une liste de faits requis a été établie pour chaque question. Le système a été comparé à une référence de RAG vectoriel naïf en utilisant Langfuse pour la journalisation et la notation.
Source: Habr — хаб NLP —
original