Russische wetenschappers ontwikkelen hulpmiddel voor datavalidatie vóór het trainen van AI-modellen

Wetenschappers van het Centrum voor Praktische Kunstmatige Intelligentie van Sberbank en het AIRI-instituut hebben SplitLight gepresenteerd, een open-source tool voor datadiagnostiek vóór het trainen en vergelijken van aanbevelingsmodellen. Aanbevelingssystemen worden veel gebruikt in e-commerce, videoservices en contentplatforms, en bedrijven vertrouwen op experimenten om te beslissen welke modellen ze ontwikkelen. Als trainingsdata echter slecht zijn voorbereid of experimentele omstandigheden afwijken van de realiteit, kunnen teams verkeerde oplossingen kiezen en resources verspillen. SplitLight vermindert dit risico door vroege gegevenscontroles mogelijk te maken en de praktische toepasbaarheid van experimentele resultaten te beoordelen. Het is vrij beschikbaar en kan worden gebruikt als Python-bibliotheek of als interactieve webinterface. Het hoofddoel van de tool is om onzichtbare problemen zichtbaar te maken, zoals loggingfouten, verschoven tijdstempels en dubbele gebeurtenissen die statistieken kunnen vertekenen. Het pakt ook het probleem van onvergelijkbaarheid tussen studies aan, waardoor teams belangrijke statistieken kunnen vastleggen voor reproduceerbaarheid. Daarnaast controleert het op realisme door datalekken uit de toekomst te identificeren, rekening te houden met nieuwe gebruikers en items, en verschillen tussen trainings- en validatiesets te beoordelen. Het projectteam, geleid door Alexey Vasiliev, testte SplitLight op zes populaire open datasets en toonde aan dat zelfs kleine wijzigingen in de splitsing de statistieken aanzienlijk kunnen beïnvloeden. Sergey Ryabov, Senior Managing Director en Directeur van AI-transformatie bij Sberbank, merkte op dat SplitLight betrouwbare bescherming biedt voor productteams in marktplaatsen, streaming en media, en documentatie en vergelijking voor onderzoeksgroepen vereenvoudigt. De broncode is beschikbaar op het Russische platform GitVerse en op GitHub.