Agentes com roteamento por domínio vs RAG ingênuo: Uma comparação em uma tarefa de sistema especialista para um jogo de interpretação de papéis de tabuleiro
Langfuse
O artigo descreve o desenvolvimento de um sistema especialista para o RPG de tabuleiro Vampiro: A Máscara, comparando uma abordagem multiagente com roteamento por domínio com RAG vetorial ingênuo. Os autores coletaram uma base de conhecimento de 176 arquivos (~750 mil tokens) de uma wiki oficial, categorizados em 7 domínios. Eles construíram um agente baseado em LangGraph com um Roteador, Especialistas de domínio paralelos e um Sintetizador, e o testaram em 40 perguntas de complexidade variada. O agente superou o RAG ingênuo na recuperação de fatos entre domínios e no tratamento de consultas fora do escopo.
O autor, um Contador de Histórias iniciante para Vampiro: A Máscara, enfrentou o desafio de memorizar centenas de páginas de regras. Para ajudar, construiu um sistema especialista usando uma wiki oficial da comunidade como base de conhecimento. A wiki foi analisada via Playwright, limpa e dividida em 7 domínios: Mecânica, Disciplinas, Lore, Clãs, Seitas, Habilidades e Atributos, totalizando 176 arquivos Markdown (~750 mil tokens). Em vez de RAG ingênua, que falha em consultas entre domínios devido ao chunking e à distância semântica, o autor implementou uma arquitetura multiagente LangGraph. O sistema consiste em um Quadro Negro (estado compartilhado), um Roteador que identifica domínios relevantes, Agentes Especialistas paralelos que leem apenas os documentos necessários por meio de uma ferramenta read_document, e um Sintetizador que produz a resposta final. Para avaliação, foram criadas 40 perguntas: 10 factuais, 10 de síntese, 10 entre domínios, 5 testes de alucinação (lore antigo) e 5 fora do domínio. Uma lista de verificação de fatos obrigatórios foi feita para cada pergunta. O sistema foi comparado com uma linha de base RAG vetorial ingênua usando Langfuse para registro e pontuação.
Fonte: Habr — хаб NLP —
original