Científicos rusos crean una herramienta para la validación de datos antes de entrenar modelos de IA

Científicos del Centro de Inteligencia Artificial Práctica de Sberbank y del Instituto AIRI han presentado SplitLight, una herramienta de código abierto para el diagnóstico de datos antes de entrenar y comparar modelos de recomendación. Los sistemas de recomendación se utilizan ampliamente en el comercio electrónico, los servicios de video y las plataformas de contenido, y las empresas dependen de experimentos para decidir qué modelos desarrollar. Sin embargo, si los datos de entrenamiento están mal preparados o las condiciones experimentales difieren de la vida real, los equipos pueden elegir soluciones inadecuadas y desperdiciar recursos. SplitLight reduce este riesgo al permitir verificaciones tempranas de los datos y evaluar la aplicabilidad práctica de los resultados experimentales. Está disponible de forma gratuita y se puede utilizar como una biblioteca de Python o como una interfaz web interactiva. El objetivo principal de la herramienta es hacer visibles problemas invisibles, como fallos de registro, marcas de tiempo desplazadas y eventos duplicados que pueden distorsionar las métricas. También aborda el problema de la incomparabilidad entre estudios, permitiendo a los equipos fijar estadísticas clave para la reproducibilidad. Además, verifica el realismo al identificar fugas de datos del futuro, tener en cuenta nuevos usuarios y artículos, y evaluar las diferencias entre los conjuntos de entrenamiento y validación. El equipo del proyecto, liderado por Alexey Vasiliev, probó SplitLight en seis conjuntos de datos abiertos populares, demostrando que incluso cambios menores en la división pueden afectar significativamente las métricas. Sergey Ryabov, Director Gerente Senior y Director de Transformación de IA en Sberbank, señaló que SplitLight proporciona una protección confiable para los equipos de producto en mercados, streaming y medios, y simplifica la documentación y la comparación para los grupos de investigación. El código fuente está disponible en la plataforma rusa GitVerse y en GitHub.