Kuinka kääntää sekoitettua venäjää ja kazakkia synteettisen datan avulla

Kazakstanissa on yleistä sekoittaa venäjää ja kazakkia sosiaalisessa mediassa ja arkielämässä, mutta olemassa olevat konekäännösjärjestelmät eivät selviydy tällaisesta koodinvaihdosta koulutusdatan puutteen vuoksi. MWS AI:n ja yliopistojen tutkijaryhmä kokosi oman arviointikorpuksensa KRCS:n, joka käsittää 618 lausetta, ja sovelsi synteettistä datan generointia olemassa olevien rinnakkaiskorpusten (oikeudelliset asiakirjat ja lehdistötiedotteet, joissa on 89 000 ja 80 000 lausetta) pohjalta. Sekoitettujen lauseiden luomiseen käytettiin viittä menetelmää, joista paras oli cs-5 – 15 prosentin vähimmäistasattujen yksiköiden korvaaminen venäjän sanoilla käyttäen SimAlignia, joka ottaa kontekstin huomioon upotusten avulla. Mallien mBART, M2M100, NLLB-600 ja NLLB-3.3B jatkokoulutus synteettisellä datalla paransi laatua: esimerkiksi mBART nosti BLEU-pistemäärän 4,62:sta 12,08:aan. Suurin malli NLLB-3.3B saavutti jatkokoulutuksen jälkeen BLEU-pistemäärän 16,48, mikä on paras tulos avoimien mallien joukossa. Todellista puhetyyliä lähestyäkseen tutkijat lisäsivät koulutukseen kazakiksi käännettyjä venäläisiä twiittejä, mikä paransi tulosta hieman. Automaattisilla mittareilla (BLEU, ChrF++, COMET) kaupalliset järjestelmät päihittävät avoimet, mutta natiivipuhujien manuaalisessa arvioinnissa tutkijoiden malli sai Likert-asteikolla 3,09 pistettä, kun verrokkiarvot olivat 2,80 ja 3,49. Tutkijat myöntävät rajoitteet: synteettisen datan keskimääräinen luonnollisuus on 2,62 asteikolla 1–5, testikorpus on pieni (618 lausetta), eikä menetelmän siirrettävyys muihin kielipareihin ole taattu.