RUMBA: रूसी में संवाद प्रणालियों की दीर्घकालिक स्मृति के मूल्यांकन के लिए नया बेंचमार्क

बेंचमार्क RUMBA को रूसी भाषा में संवाद प्रणालियों की दीर्घकालिक स्मृति का मूल्यांकन करने के लिए विकसित किया गया था, जो इस भाषा के लिए ऐसे बेंचमार्क की कमी को संबोधित करता है। इसमें 85 संवाद हैं जिनमें 1,543 प्रश्न शामिल हैं, प्रति संवाद औसतन 191 दिनों की बातचीत और लगभग 340,000 अक्षर हैं। बेंचमार्क तीन सुपरग्रुपों का मूल्यांकन करता है: सूचना निष्कर्षण (तथ्यों को ढूँढना और अद्यतन करना), तर्क (बहु-चरणीय अनुमान), और परहेज़ (यह जानना कि कब उत्तर नहीं देना है)। प्रत्येक प्रश्न को शब्दार्थ प्रकार, सत्र दायरा (एकल या बहु-सत्र), और अस्थायीता (अस्थायी या कालातीत) के साथ टैग किया गया है, साथ ही अतिरिक्त अस्थायी अभिव्यक्ति टैग भी हैं। संवादों को शुरू से बनाया गया था, जिसमें उपयोगकर्ता के वाक्य मनुष्यों द्वारा लिखे गए और सहायक के उत्तर GigaChat Max द्वारा उत्पन्न किए गए। डेटासेट में क्रॉस-भाषी तुलना के लिए रूसी और अंग्रेजी संस्करण शामिल हैं।