How to Translate Mixed Russian and Kazakh Using Synthetic Data
Meta
Researchers from MWS AI and several universities have developed a method for generating synthetic datasets to translate mixed Russian-Kazakh code-switched language. Their approach, based on SimAlign alignment and the NLLB-3.3B model, outperformed commercial systems in human evaluation, although automatic metrics show the opposite.
Казахстанда әлеуметтік желілерде және күнделікті өмірде орыс және қазақ тілдерінің араласып қолданылуы кең таралған, алайда қолданыстағы машиналық аударма жүйелері оқыту деректерінің жоқтығынан мұндай код-свитчингті (код ауыстыруды) нашар жеңеді. MWS AI және университеттердің зерттеушілер тобы 618 сөйлемнен тұратын өздерінің бағалау корпусын (KRCS) жинап, бар параллель корпустарға (тиісінше 89 мың және 80 мың сөйлемдік құқықтық құжаттар мен баспасөз релиздері) негізделген синтетикалық деректер генерациясын қолданды. Аралас сөйлемдерді құру үшін бес әдіс қолданылды, олардың ішінде ең жақсысы cs-5 болды — SimAlign көмегімен минималды теңестірілген бірліктердің 15% орыс сөздеріне ауыстыру, бұл әдіс контексті эмбеддингтер арқылы ескереді. mBART, M2M100, NLLB-600 және NLLB-3.3B модельдерін синтетикалық деректерде дооқыту сапаның жақсарғанын көрсетті: мысалы, mBART BLEU көрсеткішін 4,62-ден 12,08-ге дейін жақсартты. Ең үлкен NLLB-3.3B моделі дооқытудан кейін 16,48 BLEU-ге жетті, бұл ашық модельдер арасындағы ең жақсы нәтиже. Сөйлеудің нақты стиліне жақындату үшін авторлар оқытуға қазақ тіліне аударылған орыс твиттерін қосты, бұл шамалы өсім берді. Автоматты метрикалар бойынша (BLEU, ChrF++, COMET) коммерциялық жүйелер ашық модельдерден озып тұр, бірақ ана тілділермен қолмен бағалау кезінде авторлардың моделі Ликерт шкаласы бойынша 3,09 балл жинады, ал коммерциялық аналогтар 2,80 және 3,49 балл жинады. Зерттеушілер шектеулерді мойындайды: синтетикалық деректердің орташа табиғилығы 5-тен 2,62, тест корпусы аз (618 сөйлем), ал әдістің басқа тілдік жұптарға көшірілуіне кепілдік жоқ.
Kaynak: Habr — хаб ML —
orijinal