Бенчмарк 23 моделей ASR для русской ИТ-диктовки: моя мартовская рекомендация устарела
Разработчик повторно оценил модели преобразования речи в текст для русской ИТ-диктовки, протестировав 23 модели ASR в более чем 60 конфигурациях со 100 000 прогонов. Он обнаружил, что Breeze ASR, неожиданная находка, соответствует или превосходит Whisper Large v3, что привело к обновлённой рекомендации. Бенчмарк вводит составную метрику Q, объединяющую WER (частоту ошибок в словах), точность пунктуации и новый Индекс сохранения английского языка (EPI), который вознаграждает модели за сохранение английских терминов в латинице.
В марте автор рекомендовал Whisper Large v3 для русской ИТ-диктовки, но позже обнаружил Breeze ASR — модель, оптимизированную для тайваньского мандарина с поддержкой переключения кодов, которая показала результат не хуже. Чтобы это проверить, они создали строгий бенчмарк: 23 модели в более чем 60 конфигурациях, более 100 000 прогонов на русско-английском ИТ-корпусе, используя более 120 часов
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал