Kuinka kääntää sekoitettua venäjä-kazakstania tulematta hulluksi
Tutkijat MWS AI:sta ja yliopistoista ehdottivat menetelmää synteettisen tietoaineiston tuottamiseksi sekoitetun venäjä-kazakstanitekstin (koodinvaihdon) konekääntämiseen. Heidän mallinsa, joka koulutettiin synteettisellä datalla, päihitti kaupalliset järjestelmät ihmisen arvioinnissa, vaikka se jäi niistä jälkeen automaattisissa mittareissa.
Kazakstanissa sosiaalisessa mediassa ja arkielämässä sekoitetaan usein kazakkia ja venäjää (koodinvaihto), mutta konekäännösjärjestelmiä, jotka kääntäisivät hyvin tällaisia sekalaisia lauseita, ei juuri ole tietojen puutteen vuoksi. MWS AI:n ja useiden yliopistojen tutkijat kokosivat 618 koodinvaihtoa sisältävän lauseen korpuksen arviointia varten, mutta se on liian pieni harjoitukseen. Sitten he loivat synteettisen tietoaineiston käyttämällä olemassa olevia rinnakkaiskorpuksia (lakiasiakirjoja ja lehdistötiedotteita) sekä SimAlign-menetelmää, joka korvaa kazakin sanat venäjän sanoilla kontekstin huomioiden. Tämä lähestymistapa (cs-5) osoittautui tehokkaammaksi kuin karkea korvaus. Synteettisellä tiedolla hienosäädettiin malleja mBART, M2M100, NLLB-600 ja NLLB-3.3B, ja lisäksi koulutettiin tyhjästä transformer-600. Automaattisilla mittareilla (BLEU, ChrF++, COMET) kaupalliset käännösjärjestelmät ylittivät kaikki avoimet mallit. Manuaalisessa arvioinnissa äidinkielisten puhujien toimesta Likert-asteikolla (1–5) tutkijoiden paras malli sai 3,09, kun taas kaupalliset järjestelmät saivat 2,80 ja 3,49. Lisäksi Rybakovan korpuksesta kazakiksi käännettyjen venäjänkielisten twiittien lisääminen paransi hieman laatua. Tutkijat myöntävät rajoituksia: synteettinen data on epätäydellistä (keskimääräinen luonnollisuuspistemäärä 2,62/5), testikorpus on pieni (618 lausetta), automaattiset mittarit eivät vastaa manuaalista arviointia, vertailu kaupallisiin rajapintoihin on epäasianmukaista (niiden malleja ei tunneta), eikä siirrettävyyttä muihin kieliin ole testattu.
Lähde: Habr — хаб ML —
Alkuperäinen