ロシア語とカザフ語のコードスイッチング翻訳のための合成データ生成

ロシア語とカザフ語のコードスイッチングはカザフスタンでは一般的ですが、機械翻訳モデルのトレーニングデータはほぼ存在しません。MWS AIと提携大学の研究者らは、既存のカザフ語・ロシア語のパラレルコーパス（法律文書、プレスリリース）を基に、SimAlignを用いてカザフ語の文にロシア語の単語を文脈に応じて埋め込みから選択して人工的に挿入し、合成データセットを作成しました。彼らはこの合成データで複数のオープンモデル（mBART、M2M100、NLLB-600、NLLB-3.3B）をファインチューニングしました。自動評価指標（BLEU、ChrF++、COMET）では商用システムの方が高スコアでしたが、リッカート尺度を用いた人間評価では、ファインチューニングされたNLLB-3.3Bモデルが3.09/5を達成し、2つの商用API（2.80および3.49）を上回りました。このアプローチは、カザフ語に翻訳されたツイッターデータを追加した場合にもパフォーマンスが向上しました。ただし、合成データの自然さは2.62/5と評価され、テストセットは618文と小さく、他の言語ペアへの転用可能性は不透明です。