Agentic RAG, TRuST Benchmark ve Nafanya'nın Bununla İlgisi Nedir?

Nafanya, Nikolai tarafından geliştirilen, inşaat ve fiyatlandırma alanındaki normatif ve teknik dokümantasyon için aracı tabanlı bir RAG asistanıdır. Planlayıcı, alıcı, değerlendirici, üretici ve eleştirmenden oluşan çoklu aracı mimarisini kullanır. Arama yeteneklerini test etmek için yazar, çok adımlı arama gerektiren 324 karmaşık Rusça soru içeren TRuST kıyaslama setini uyarladı. Başlangıçta sistem düşük puan aldı, ancak CoverageCritic eklenmesi ve mimarinin optimize edilmesiyle Recall All 0,25'ten 0,45'e ve cevap doğruluğu %34'ten %56'ya yükseldi. Daha sonra Final Critic eklendi ve sistem Qwen ve DeepSeek gibi harici API'ler kullanıyor. Yazar, TRuST'un BrowseComp-Plus metodolojisine dayandığını ve sabit bir dizin ile çeşitli arama karmaşıklığı türlerini içerdiğini belirtiyor.