Как переводить смешанный русский-казахский и не сойти с ума
Исследователи из MWS AI и университетов предложили метод генерации синтетического датасета для машинного перевода смешанного русско-казахского текста (код-свитчинг). Их модель, обученная на синтетике, обошла коммерческие системы по ручной оценке, хотя уступала им по автоматическим метрикам.
В Казахстане в соцсетях и быту часто смешивают казахский и русский языки (код-свитчинг), но систем машинного перевода, которые бы хорошо переводили такие смешанные фразы, почти нет из-за отсутствия данных. Авторы исследования из MWS AI и нескольких университетов собрали корпус из 618 предложений с код-свитчингом для оценки, но для обучения этого мало. Тогда они создали синтетический датасет,
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал