Russische Wissenschaftler entwickeln Tool zur Datenvalidierung vor dem Training von KI-Modellen

Wissenschaftler des Zentrums für Praktische Künstliche Intelligenz der Sberbank und des AIRI-Instituts haben SplitLight vorgestellt, ein Open-Source-Tool zur Datendiagnose vor dem Training und zum Vergleich von Empfehlungssystemen. Empfehlungssysteme werden in E-Commerce, Videodiensten und Content-Plattformen weit verbreitet eingesetzt, und Unternehmen verlassen sich auf Experimente, um zu entscheiden, welche Modelle sie entwickeln sollen. Wenn die Trainingsdaten jedoch schlecht vorbereitet sind oder die Versuchsbedingungen von der Realität abweichen, können Teams ungeeignete Lösungen wählen und Ressourcen verschwenden. SplitLight reduziert dieses Risiko, indem es frühe Datenprüfungen ermöglicht und die praktische Anwendbarkeit von Versuchsergebnissen bewertet. Es ist frei verfügbar und kann als Python-Bibliothek oder als interaktive Weboberfläche genutzt werden. Das Hauptziel des Tools ist es, unsichtbare Probleme sichtbar zu machen, wie z. B. Protokollierungsfehler, verschobene Zeitstempel und doppelte Ereignisse, die Metriken verfälschen können. Es befasst sich auch mit dem Problem der Nichtvergleichbarkeit von Studien, sodass Teams wichtige Statistiken für die Reproduzierbarkeit festlegen können. Darüber hinaus prüft es auf Realismus, indem es Datenlecks aus der Zukunft identifiziert, neue Nutzer und Artikel berücksichtigt und Unterschiede zwischen Trainings- und Validierungsdaten bewertet. Das Projektteam unter der Leitung von Alexey Vasiliev testete SplitLight an sechs beliebten öffentlichen Datensätzen und zeigte, dass bereits geringfügige Änderungen bei der Aufteilung die Metriken erheblich beeinflussen können. Sergey Ryabov, Senior Managing Director und Direktor für KI-Transformation bei der Sberbank, merkte an, dass SplitLight Produktteams in Marktplätzen, Streaming und Medien zuverlässig schützt und für Forschungsgruppen die Dokumentation und den Vergleich vereinfacht. Der Quellcode ist auf der russischen Plattform GitVerse und auf GitHub verfügbar.