Rus Bilim İnsanları Yapay Zeka Modellerini Eğitmeden Önce Veri Doğrulama Aracı Geliştirdi

Sberbank Yapay Zeka Uygulama Merkezi ve AIRI Enstitüsü'nden bilim insanları, öneri modellerini eğitmeden önce veri teşhisi yapmak ve modelleri karşılaştırmak için açık kaynaklı bir araç olan SplitLight'ı tanıttı. Öneri sistemleri e-ticaret, video hizmetleri ve içerik platformlarında yaygın olarak kullanılıyor ve şirketler hangi modelleri geliştireceklerine karar vermek için deneylere güveniyor. Ancak, eğitim verileri kötü hazırlanmışsa veya deneysel koşullar gerçek hayattan sapıyorsa, ekipler uygun olmayan çözümler seçebilir ve kaynak israf edebilir. SplitLight, erken veri kontrollerine olanak tanıyarak ve deneysel sonuçların pratik uygulanabilirliğini değerlendirerek bu riski azaltır. Araç ücretsiz olarak sunulmaktadır ve bir Python kütüphanesi veya etkileşimli bir web arayüzü olarak kullanılabilir. Aracın temel amacı, günlükleme hataları, değişen zaman damgaları ve metrikleri bozabilecek yinelenen olaylar gibi görünmeyen sorunları görünür kılmaktır. Ayrıca, çalışmalar arasındaki karşılaştırılamazlık sorununu ele alır ve ekiplerin tekrarlanabilirlik için temel istatistikleri düzeltmesini sağlar. Ek olarak, gelecekten veri sızıntısını belirleyerek, yeni kullanıcıları ve öğeleri hesaba katarak ve eğitim ile doğrulama setleri arasındaki farkları değerlendirerek gerçekçiliği kontrol eder. Alexey Vasiliev liderliğindeki proje ekibi, SplitLight'ı altı popüler açık veri seti üzerinde test etti ve bölünmedeki küçük değişikliklerin bile metrikleri önemli ölçüde etkileyebileceğini gösterdi. Sberbank Kıdemli Yönetici Direktörü ve Yapay Zeka Dönüşümü Direktörü Sergey Ryabov, SplitLight'ın pazaryerleri, akış ve medya sektörlerindeki ürün ekipleri için güvenilir koruma sağladığını ve araştırma grupları için dokümantasyon ve karşılaştırmayı basitleştirdiğini belirtti. Kaynak kodu, Rus platformu GitVerse ve GitHub'da mevcuttur.