How to Translate Mixed Russian and Kazakh Using Synthetic Data

カザフスタンでは、ソーシャルメディアや日常生活でロシア語とカザフ語が混在して使われることが一般的ですが、既存の機械翻訳システムは学習データが不足しているため、こうしたコードスイッチング（言語の切り替え）にうまく対応できていません。MWS AIと大学の研究グループは、独自の評価用コーパスKRCS（618文）を構築し、既存のパラレルコーパス（それぞれ89,000文と80,000文の法律文書とプレスリリース）に基づいて合成データを生成しました。混在フレーズの作成には5つの手法を用い、その中で最も優れていたのはcs-5でした。これは、SimAlignを使用して文脈を埋め込みベクトルで考慮しながら、最小アライメント単位の15%をロシア語の単語に置き換える手法です。mBART、M2M100、NLLB-600、NLLB-3.3Bのモデルを合成データでファインチューニングしたところ、品質が向上しました。例えば、mBARTのBLEUスコアは4.62から12.08に改善されました。最大のモデルであるNLLB-3.3Bはファインチューニング後にBLEUスコア16.48を達成し、オープンモデルの中で最高の結果となりました。より現実的な話し言葉のスタイルに近づけるため、著者らはカザフ語に翻訳されたロシア語のツイートも学習に追加し、わずかな改善が見られました。自動評価指標（BLEU、ChrF++、COMET）では商用システムがオープンモデルを上回りますが、母語話者による手動評価では、著者らのモデルはリッカート尺度で3.09点を獲得し、商用モデルの2.80点および3.49点と比較して良好な結果を示しました。研究者らは限界も認めています。合成データの自然性は5点満点中平均2.62点、テスト用コーパスは小規模（618文）であり、他の言語ペアへの手法の転用可能性は保証されていません。