Cientistas russos criam ferramenta para validação de dados antes do treinamento de modelos de IA

Cientistas do Centro de Inteligência Artificial Prática do Sberbank e do Instituto AIRI apresentaram o SplitLight, uma ferramenta de código aberto para diagnóstico de dados antes do treinamento e comparação de modelos de recomendação. Sistemas de recomendação são amplamente utilizados em comércio eletrônico, serviços de vídeo e plataformas de conteúdo, e as empresas dependem de experimentos para decidir quais modelos desenvolver. No entanto, se os dados de treinamento forem mal preparados ou as condições experimentais divergirem da vida real, as equipes podem escolher soluções inadequadas e desperdiçar recursos. O SplitLight reduz esse risco permitindo verificações antecipadas de dados e avaliando a aplicabilidade prática dos resultados experimentais. Ele está disponível gratuitamente e pode ser usado como uma biblioteca Python ou como uma interface web interativa. O principal objetivo da ferramenta é tornar visíveis problemas invisíveis, como falhas de registro, carimbos de data e hora deslocados e eventos duplicados que podem distorcer as métricas. Ela também aborda a questão da incomparabilidade entre estudos, permitindo que as equipes fixem estatísticas-chave para reprodutibilidade. Além disso, verifica o realismo identificando vazamento de dados do futuro, considerando novos usuários e itens e avaliando diferenças entre conjuntos de treinamento e validação. A equipe do projeto, liderada por Alexey Vasiliev, testou o SplitLight em seis conjuntos de dados abertos populares, demonstrando que mesmo pequenas mudanças na divisão podem afetar significativamente as métricas. Sergey Ryabov, Diretor Executivo Sênior e Diretor de Transformação de IA do Sberbank, observou que o SplitLight fornece proteção confiável para equipes de produto em marketplaces, streaming e mídia, e simplifica a documentação e a comparação para grupos de pesquisa. O código-fonte está disponível na plataforma russa GitVerse e no GitHub.