Agents routés par domaine vs. RAG naïf : une comparaison sur la tâche de système expert pour un jeu de rôle sur table
Langfuse
L'auteur du projet, inspiré par la tâche de création d'un système expert pour l'univers de Vampire : La Mascarade, compare deux approches : le RAG classique et une architecture multi-agents avec routage par domaine. Pour l'évaluation, ils ont collecté un ensemble de données de 40 questions de différents niveaux de difficulté. Les résultats montrent que l'approche agentique surpasse le RAG naïf en termes de complétude des réponses pour les requêtes inter-domaines.
Un auteur débutant, narrateur dans le jeu de rôle sur table Vampire : La Mascarade, a eu besoin de trouver rapidement des règles et des éléments de lore. Il a créé un système expert basé sur le wiki officiel, en extrayant 176 fichiers (~750K tokens) répartis en 7 domaines. Au lieu du RAG classique, il a choisi un graphe multi-agents avec LangGraph, où un routeur oriente les requêtes vers des experts par domaine, qui lisent eux-mêmes les fichiers nécessaires. Pour l'évaluation, l'auteur a constitué un ensemble de données de 40 questions (10 de niveau 1 — recherche de fait, 10 de niveau 2 — synthèse, 10 de niveau 3 — inter-domaines, 5 sur la protection contre les hallucinations, 5 hors domaine). Deux approches ont été comparées : un RAG vectoriel naïf et un agent multi-agents. L'agent a montré une meilleure qualité sur les questions inter-domaines, bien qu'il soit inférieur au RAG en termes de vitesse et de coût.
Source: Habr — хаб NLP —
original