Представлен Real World VoiceEQ: новый бенчмарк для оценки качества голосового ИИ
Hume AI запускает Real World VoiceEQ — бенчмарк, оценивающий человеческое качество голосового взаимодействия. В основе более миллиона оценок людей, он охватывает 40+ моделей по 60+ метрикам, включая ASR, TTS, S2S и понимание речи. Бенчмарк выявил, что ни одна модель не является лучшей во всех категориях, а также показал слабость современных систем в распознавании эмоций и контекста.
Стоящая за Hume AI команда представила бенчмарк Real World VoiceEQ, предназначенный для оценки качества голосового искусственного интеллекта с точки зрения человека. Он оценивает более 40 ведущих проприетарных моделей и моделей с открытым исходным кодом по 15+ ключевым измерениям и 60+ метрикам, охватывающим автоматическое распознавание речи (ASR), синтез речи из текста (TTS), преобразование речи
Показать ещё ↓
Источник: Hugging Face blog —
оригинал