एजेंटिक RAG, TRuST बेंचमार्क और नफान्या का इससे क्या संबंध है

Nafanya, निकोलाई द्वारा विकसित, निर्माण और मूल्य निर्धारण में मानक और तकनीकी दस्तावेज़ीकरण के लिए एक एजेंटिक RAG सहायक है। यह एक मल्टी-एजेंट आर्किटेक्चर का उपयोग करता है जिसमें प्लानर, रिट्रीवर, मूल्यांकनकर्ता, जनरेटर और समीक्षक शामिल हैं। इसकी खोज क्षमताओं का परीक्षण करने के लिए, लेखक ने TRuST बेंचमार्क को अनुकूलित किया, जिसमें 324 जटिल रूसी-भाषा प्रश्न हैं जिनके लिए बहु-चरणीय खोज की आवश्यकता होती है। शुरुआत में, सिस्टम ने कम स्कोर किया, लेकिन कवरेज समीक्षक और आर्किटेक्चर को अनुकूलित करके, रिकॉल ऑल 0.25 से बढ़कर 0.45 और उत्तर सटीकता 34% से बढ़कर 56% हो गई। बाद में, एक अंतिम समीक्षक जोड़ा गया, और सिस्टम Qwen और DeepSeek जैसी बाहरी API का उपयोग करता है। लेखक नोट करता है कि TRuST BrowseComp-Plus पद्धति पर आधारित है और इसमें निश्चित सूचकांक और विभिन्न खोज जटिलता प्रकार शामिल हैं।