RUMBA: Uusi vertailuarvo venäjänkielisten keskustelujärjestelmien pitkäaikaismuistin arviointiin
Сбербанк
Uusi venäjänkielinen vertailuarvo nimeltä RUMBA (Russian User Memory Benchmark) on luotu arvioimaan pitkäaikaismuistia monisessioisissa keskusteluissa. Se kattaa kolme pääryhmää: Tiedon poiminta, Päättely ja Kieltäytyminen, ja siihen sisältyy yksityiskohtainen taksonomia, joka käsittää semanttisen tyypin, istunnon laajuuden ja ajallisuuden.
RUMBA-testi on kehitetty arvioimaan venäjänkielisten keskustelujärjestelmien pitkäkestoista muistia, sillä tällaisia vertailukohtia ei kielelle aiemmin ollut. Testi koostuu 85 keskustelusta, joissa on 1 543 kysymystä, keskimäärin 191 päivää kestäviä keskusteluja ja noin 340 000 merkkiä per keskustelu. Testi arvioi kolmea pääryhmää: tiedon poiminta (faktojen löytäminen ja päivittäminen), päättely (monivaiheinen päätely) ja pidättäytyminen (tieto siitä, milloin ei vastata). Jokainen kysymys on merkitty semanttisella tyypillä, istunnon laajuudella (yksi- tai moni-istuntoinen) ja ajallisuudella (ajallinen tai ajaton), ja siihen on lisätty ajallisia ilmaisutageja. Keskustelut on luotu alusta alkaen, käyttäjien puheenvuorot ihmisten kirjoittamia ja avustajan vastaukset GigaChat Maxin tuottamia. Aineisto sisältää venäjän- ja englanninkieliset versiot kieltenvälisiä vertailuja varten.
Lähde: Habr — хаб ИИ —
Alkuperäinen