Tác nhân định tuyến theo miền so với RAG đơn giản: So sánh trên một tác vụ hệ chuyên gia cho trò chơi nhập vai trên bàn

Tác giả, một người lần đầu làm Người Kể Chuyện cho Vampire: The Masquerade, phải đối mặt với thách thức ghi nhớ hàng trăm trang luật lệ. Để hỗ trợ, họ đã xây dựng một hệ thống chuyên gia sử dụng wiki cộng đồng chính thức làm cơ sở tri thức. Wiki được phân tích cú pháp qua Playwright, làm sạch và chia thành 7 lĩnh vực: Cơ chế, Kỹ năng Huyết thống, Truyền thuyết, Gia tộc, Giáo phái, Kỹ năng và Thuộc tính, tổng cộng 176 tệp markdown (khoảng 750 nghìn token). Thay vì RAG ngây thơ, vốn thất bại với các truy vấn đa lĩnh vực do vấn đề phân đoạn và khoảng cách ngữ nghĩa, tác giả đã triển khai kiến trúc đa tác tử LangGraph. Hệ thống bao gồm một Blackboard (trạng thái chia sẻ), một Router xác định các lĩnh vực liên quan, các tác tử Chuyên gia song song chỉ đọc các tài liệu cần thiết thông qua công cụ read_document, và một Bộ tổng hợp đưa ra câu trả lời cuối cùng. Để đánh giá, 40 câu hỏi được tạo ra: 10 câu hỏi thực tế, 10 tổng hợp, 10 đa lĩnh vực, 5 kiểm tra ảo giác (truyền thuyết cũ) và 5 ngoài lĩnh vực. Một danh sách kiểm tra các sự kiện cần thiết được lập cho mỗi câu hỏi. Hệ thống được so sánh với một đường cơ sở RAG vector ngây thơ sử dụng Langfuse để ghi nhật ký và chấm điểm.