रूसी वैज्ञानिकों ने एआई मॉडल प्रशिक्षण से पहले डेटा सत्यापन हेतु उपकरण बनाया

स्बेरबैंक के सेंटर फॉर प्रैक्टिकल आर्टिफिशियल इंटेलिजेंस और एआईआरआई इंस्टीट्यूट के वैज्ञानिकों ने स्प्लिटलाइट प्रस्तुत किया है, जो ट्रेनिंग से पहले डेटा डायग्नोस्टिक्स और रिकमेंडर मॉडल की तुलना के लिए एक ओपन-सोर्स टूल है। रिकमेंडर सिस्टम ई-कॉमर्स, वीडियो सेवाओं और कंटेंट प्लेटफॉर्म में व्यापक रूप से उपयोग किए जाते हैं, और कंपनियां यह तय करने के लिए प्रयोगों पर निर्भर करती हैं कि कौन से मॉडल विकसित करने हैं। हालांकि, यदि ट्रेनिंग डेटा ठीक से तैयार नहीं है या प्रयोग की शर्तें वास्तविक जीवन से भिन्न हैं, तो टीमें अनुपयुक्त समाधान चुन सकती हैं और संसाधन बर्बाद कर सकती हैं। स्प्लिटलाइट इस जोखिम को कम करता है, जिससे प्रारंभिक डेटा जांच और प्रयोगात्मक परिणामों की व्यावहारिक प्रयोज्यता का आकलन संभव होता है। यह स्वतंत्र रूप से उपलब्ध है और इसे पायथन लाइब्रेरी या इंटरैक्टिव वेब इंटरफेस के रूप में उपयोग किया जा सकता है। टूल का मुख्य उद्देश्य अदृश्य समस्याओं को दृश्य बनाना है, जैसे लॉगिंग विफलताएं, स्थानांतरित टाइमस्टैम्प, और डुप्लिकेट इवेंट जो मेट्रिक्स को विकृत कर सकते हैं। यह अध्ययनों के बीच अतुलनीयता के मुद्दे को भी संबोधित करता है, जिससे टीमें पुनरुत्पादन के लिए मुख्य आंकड़े निर्धारित कर सकती हैं। इसके अतिरिक्त, यह भविष्य से डेटा लीकेज की पहचान करके, नए उपयोगकर्ताओं और आइटमों को ध्यान में रखकर, और ट्रेनिंग और वैलिडेशन सेट के बीच अंतर का आकलन करके यथार्थवाद की जांच करता है। एलेक्सी वासिलिव के नेतृत्व में परियोजना टीम ने छह लोकप्रिय ओपन डेटासेट पर स्प्लिटलाइट का परीक्षण किया, यह प्रदर्शित करते हुए कि विभाजन में छोटे बदलाव भी मेट्रिक्स को महत्वपूर्ण रूप से प्रभावित कर सकते हैं। स्बेरबैंक के वरिष्ठ प्रबंध निदेशक और एआई ट्रांसफॉर्मेशन के निदेशक सर्गेई रयाबोव ने कहा कि स्प्लिटलाइट मार्केटप्लेस, स्ट्रीमिंग और मीडिया में उत्पाद टीमों के लिए विश्वसनीय सुरक्षा प्रदान करता है, और अनुसंधान समूहों के लिए दस्तावेज़ीकरण और तुलना को सरल बनाता है। स्रोत कोड रूसी प्लेटफॉर्म गिटवर्स और गिटहब पर उपलब्ध है।