Sber avaa pääsyn SIRIN-kirjastoon tekoälyvastausten virheiden havaitsemiseksi

Sberbankin käytännöllisen tekoälykeskuksen tutkijaryhmä on julkaissut SIRIN (Semantic Inconsistency Recognition and Inspection Nexus) -kirjaston avoimena lähdekoodina. SIRIN auttaa tekemään tekoälyagenteista ja kielimalleista luotettavampia tunnistamalla keksityt tai lähdedataan perustumattomat faktat. Kirjasto yhdistää erilaisia vastausten varmistusmenetelmiä, jolloin kehittäjät voivat verrata, yhdistää ja valita tehtäviinsä sopivimman lähestymistavan. Se voi tarkistaa kokonaisia vastauksia tai yksittäisiä tekstikatkelmia ja osoittaa, missä malli on saattanut erehtyä. Lisäksi SIRIN voi ennakkoon arvioida, onko tekoälyagentilla riittävästi tietoa vastaamiseen, mikä auttaa estämään virheitä pyytämällä lisää dataa tai kieltäytymällä vastaamasta. Kirjasto perustuu Sberin tutkimukseen hallusinaatioiden havaitsemisesta, erityisesti metamalleihin, jotka parantavat virheiden tunnistustarkkuutta lähes 30 prosentilla käyttäen vain 250 harjoitusesimerkkiä. Sergei Rjabov, Sberbankin vanhempi toimitusjohtaja ja tekoälytransformaation johtaja, totesi, että lähestymistapa on osoittautunut tehokkaaksi sisäisesti, ja se on nyt avoin kaikille yrityksille markkinoiden kehityksen edistämiseksi. Kehittäjät voivat integroida SIRINin assistentteihinsa minuuteissa, ja se on hyödyllinen yrityksille, jotka ottavat käyttöön suuria kielimalleja, sekä tekoälyassistenttien, RAG-järjestelmien ja tekoälyagenttien kehittäjille. Kirjasto on saatavilla GitVersessa, GitHubissa, ja verkkodemona Hugging Facessa.