Agentes con ruteo por dominio versus RAG ingenuo: Una comparación en una tarea de sistema experto para un juego de rol de mesa
Langfuse
El artículo describe el desarrollo de un sistema experto para el juego de rol de mesa Vampiro: La Mascarada, comparando un enfoque multiagente con ruteo por dominio frente a RAG vectorial ingenuo. Los autores recopilaron una base de conocimientos de 176 archivos (~750,000 tokens) de una wiki oficial, categorizados en 7 dominios. Construyeron un agente basado en LangGraph con un enrutador, expertos de dominio paralelos y un sintetizador, y lo probaron con 40 preguntas de diversa complejidad. El agente superó al RAG ingenuo en la recuperación de hechos entre dominios y en el manejo de consultas fuera del alcance.
El autor, un Narrador primerizo de Vampiro: la mascarada, se enfrentó al desafío de memorizar cientos de páginas de reglas. Para ayudarse, construyó un sistema experto utilizando un wiki comunitario oficial como base de conocimiento. El wiki se analizó mediante Playwright, se limpió y se dividió en 7 dominios: Mecánicas, Disciplinas, Lore, Clanes, Sectas, Habilidades y Atributos, totalizando 176 archivos Markdown (~750K tokens). En lugar de un RAG ingenuo, que falla en consultas entre dominios debido a la fragmentación y la distancia semántica, el autor implementó una arquitectura multiagente LangGraph. El sistema consta de un Blackboard (estado compartido), un Router que identifica los dominios relevantes, agentes Expertos paralelos que leen solo los documentos necesarios mediante una herramienta read_document, y un Sintetizador que produce la respuesta final. Para la evaluación, se crearon 40 preguntas: 10 fácticas, 10 de síntesis, 10 entre dominios, 5 de prueba de alucinaciones (lore antiguo) y 5 fuera del dominio. Se elaboró una lista de verificación de datos requeridos para cada pregunta. El sistema se comparó con una línea base de RAG vectorial ingenua utilizando Langfuse para el registro y la puntuación.
Fuente: Habr — хаб NLP —
original