Запущен лидерборд FFASR: эталон для оценки ASR в реальных акустических условиях
Treble Technologies
Hugging Face
OpenAI
IBM
Cohere
Meta
SpeechBrain
Компании Hugging Face и Treble Technologies запустили лидерборд Far-Field ASR (FFASR) — первый открытый общественный эталон для оценки моделей автоматического распознавания речи (ASR) в реалистичных условиях дальнего поля, включая реверберацию, фоновый шум и расстояние до микрофона. Первоначальные результаты показывают, что WER (показатель ошибок распознавания слов) в дальней зоне при низком SNR (отношении сигнал/шум) в несколько раз выше, чем в ближней зоне, что подчеркивает значительный разрыв между производительностью на тестах и развертыванием в реальных условиях.
Созданный компаниями Hugging Face и Treble Technologies бенчмарк FFASR Leaderboard представляет собой первое открытое сообщество для оценки моделей автоматического распознавания речи (Automatic Speech Recognition, ASR) в реалистичных условиях дальнего поля. Он устраняет постоянный разрыв между производительностью на бенчмарках и реальным развёртыванием, когда модели, показывающие хорошие
Показать ещё ↓
Источник: Hugging Face blog —
оригинал
