Alan yönlendirmeli ajanlar ve Naif RAG: Bir Masaüstü Rol Yapma Oyunu için Uzman Sistem Görevinde Karşılaştırma
Langfuse
Makale, Vampire: The Masquerade masaüstü rol yapma oyunu için bir uzman sistemin geliştirilmesini anlatmakta ve alan yönlendirmeli çoklu ajan yaklaşımını naif vektör RAG ile karşılaştırmaktadır. Yazarlar, resmi bir wikiden 7 alana kategorize edilmiş 176 dosyadan (~750.000 jeton) oluşan bir bilgi tabanı toplamıştır. Bir yönlendirici, paralel alan uzmanları ve bir sentezleyici ile LangGraph tabanlı bir ajan oluşturmuş ve bunu değişen karmaşıklıkta 40 soru üzerinde test etmiştir. Ajan, alanlar arası gerçekleri alma ve kapsam dışı sorguları ele almada naif RAG'den daha iyi performans göstermiştir.
Yazar, Vampire: The Masquerade için ilk kez Hikaye Anlatıcısı olarak görev yaparken yüzlerce sayfalık kuralı ezberleme zorluğuyla karşılaştı. Bu sorunu çözmek için, resmi bir topluluk vikisini bilgi tabanı olarak kullanan bir uzman sistem geliştirdi. Vikinin içeriği Playwright kullanılarak ayrıştırıldı, temizlendi ve Mekanikler, Disiplinler, Tarihçe, Klanlar, Tarikatlar, Yetenekler ve Nitelikler olmak üzere 7 alana bölündü. Bu işlem sonucunda toplam 176 adet Markdown dosyası (~750K token) elde edildi. Yazar, parçalara ayırma ve anlamsal uzaklık gibi nedenlerle çapraz alan sorgularında başarısız olan saf RAG (değişik metin getirme) yöntemi yerine, çoklu ajanlı bir LangGraph mimarisi kullandı. Sistem şu bileşenlerden oluşmaktadır: Bir Kara Tahta (paylaşılan durum), ilgili alanları belirleyen bir Yönlendirici, yalnızca read_document aracı aracılığıyla gerekli belgeleri okuyan paralel Uzman ajanlar ve nihai yanıtı üreten bir Sentezleyici. Değerlendirme için 40 soru oluşturuldu: 10 bilgi sorusu, 10 sentez sorusu, 10 çapraz alan sorusu, 5 halüsinasyon testi (eski tarihçe) ve 5 alan dışı soru. Her soru için gerekli gerçeklerin bir kontrol listesi hazırlandı. Sistem, Langfuse kullanılarak kayıt ve puanlama yapılan saf vektör RAG tabanı (naive vector RAG) ile karşılaştırıldı.
Kaynak: Habr — хаб NLP —
orijinal