MERA Reason: Uusi julkinen tulostaulu venäjänkielisten päättelymallien arviointiin
Т-Банк
Alibaba/Qwen
Uusi julkinen tulostaulu nimeltä MERA Reason (osana MERA TEXT -alustaa) on lanseerattu arvioimaan tekoälymallien päättelykykyjä erityisesti venäjänkielisissä matemaattisissa ja päättelytehtävissä. Se yhdistää neljä erillistä tietoaineistoa: Luzitania (vaikeat olympiatason matematiikka), TMath (monipuoliset matematiikkatehtävät), MMReD (tiivis konteksti, monivaiheinen päättely) ja pyrkii tarjoamaan objektiivisen, toistettavan vertailuarvon päättelymalleille.
MERA Reason-vertailutaulukko on otettu käyttöön vastaamaan tarpeeseen mitata objektiivisesti suurten kielimallien päättelykykyä, erityisesti venäjän kielen osalta. Se koostuu neljästä tietoaineistosta: Luzitania (251 vaikeaa matematiikan ongelmaa korkean tason olympiadilta, suodatettu vaikeustason mukaan käyttäen GPT-OSS-120B-mallia), TMath (310 ongelmaa venäläisistä olympiadeista, kattaa algebran, geometrian, kombinatoriikan jne.) ja MMReD (synteettinen vertailuaineisto tiheäkontekstiselle päättelylle, jossa jokainen tunnus on olennainen). Vertailutaulukko mahdollistaa päättelymallien vertailun toistettavassa ympäristössä, ja se tulee olemaan osa suurempaa MERA-alustan päivitystä, jota odotetaan tänä kesänä.
Lähde: Habr — хаб ИИ —
Alkuperäinen