Venäläistutkijat kehittivät työkalun datan validoimiseen ennen tekoälymallien koulutusta

Tiedemiehet Sberbankin käytännöllisen tekoälyn keskuksesta ja AIRI-instituutista ovat esitelleet SplitLightin, avoimen lähdekoodin työkalun datan diagnostiikkaan ennen suosittelumallien kouluttamista ja vertailua. Suosittelujärjestelmiä käytetään laajasti verkkokaupassa, videopalveluissa ja sisältöalustoilla, ja yritykset luottavat kokeisiin päättäessään, mitä malleja kehittää. Jos kuitenkin koulutusdata on huonosti valmisteltu tai koeolosuhteet poikkeavat todellisesta elämästä, tiimit saattavat valita sopimattomia ratkaisuja ja tuhlata resursseja. SplitLight vähentää tätä riskiä mahdollistamalla varhaiset datatarkistukset ja arvioimalla kokeellisten tulosten käytännön sovellettavuutta. Se on vapaasti saatavilla ja sitä voidaan käyttää Python-kirjastona tai interaktiivisena verkkokäyttöliittymänä. Työkalun päätavoite on tehdä näkymättömistä ongelmista näkyviä, kuten kirjausvirheet, siirtyneet aikaleimat ja kaksoistapahtumat, jotka voivat vääristää mittareita. Se käsittelee myös tutkimusten välisen vertailukelpoisuuden ongelmaa, jolloin tiimit voivat vahvistaa keskeiset tilastot toistettavuuden varmistamiseksi. Lisäksi se tarkistaa realismia tunnistamalla tulevaisuudesta tulevan datavuodon, ottamalla huomioon uudet käyttäjät ja kohteet sekä arvioimalla koulutus- ja validointijoukkojen välisiä eroja. Projektitiimi, jota johtaa Aleksei Vasiljev, testasi SplitLightin kuudella suositulla avoimella tietoaineistolla ja osoitti, että jopa pienet muutokset jakamisessa voivat vaikuttaa merkittävästi mittareihin. Sergei Rjabov, Sberbankin vanhempi toimitusjohtaja ja tekoälyn transformaation johtaja, totesi, että SplitLight tarjoaa luotettavaa suojaa tuotetiimeille markkinapaikoilla, suoratoistossa ja mediassa sekä yksinkertaistaa dokumentointia ja vertailua tutkimusryhmille. Lähdekoodi on saatavilla venäläisellä GitVerse-alustalla ja GitHubissa.