Ilmuwan Rusia Ciptakan Alat untuk Validasi Data Sebelum Melatih Model AI

Para ilmuwan dari Pusat Kecerdasan Buatan Praktis Sberbank dan Institut AIRI telah memperkenalkan SplitLight, sebuah alat sumber terbuka untuk diagnostik data sebelum pelatihan dan perbandingan model rekomendasi. Sistem rekomendasi banyak digunakan dalam e-commerce, layanan video, dan platform konten, dan perusahaan mengandalkan eksperimen untuk memutuskan model mana yang akan dikembangkan. Namun, jika data pelatihan disiapkan dengan buruk atau kondisi eksperimen menyimpang dari kehidupan nyata, tim dapat memilih solusi yang tidak sesuai dan membuang-buang sumber daya. SplitLight mengurangi risiko ini dengan memungkinkan pemeriksaan data lebih awal dan menilai penerapan praktis dari hasil eksperimen. Alat ini tersedia secara gratis dan dapat digunakan sebagai pustaka Python atau sebagai antarmuka web interaktif. Tujuan utama alat ini adalah membuat masalah yang tidak terlihat menjadi terlihat, seperti kegagalan pencatatan, pergeseran stempel waktu, dan peristiwa duplikat yang dapat mendistorsi metrik. Alat ini juga mengatasi masalah ketidakbandingan antar studi, memungkinkan tim untuk menetapkan statistik kunci untuk reproduktibilitas. Selain itu, alat ini memeriksa realisme dengan mengidentifikasi kebocoran data dari masa depan, memperhitungkan pengguna dan item baru, serta menilai perbedaan antara set pelatihan dan validasi. Tim proyek, yang dipimpin oleh Alexey Vasiliev, menguji SplitLight pada enam set data terbuka populer, menunjukkan bahwa bahkan perubahan kecil dalam pemisahan dapat secara signifikan mempengaruhi metrik. Sergey Ryabov, Direktur Pelaksana Senior dan Direktur Transformasi Kecerdasan Buatan di Sberbank, mencatat bahwa SplitLight memberikan perlindungan yang andal bagi tim produk di marketplace, streaming, dan media, serta menyederhanakan dokumentasi dan perbandingan untuk kelompok penelitian. Kode sumber tersedia di platform Rusia GitVerse dan di GitHub.