Real World VoiceEQ dévoilé : un nouveau benchmark pour évaluer la qualité de l'IA vocale

L'équipe de Hume AI a présenté le benchmark Real World VoiceEQ, conçu pour évaluer la qualité de l'IA vocale d'un point de vue humain. Il évalue plus de 40 modèles d'IA vocale propriétaires et open source parmi les plus performants, selon 15 dimensions clés et plus de 60 métriques, couvrant la reconnaissance automatique de la parole (ASR), la synthèse vocale (TTS), le modèle de parole à parole (S2S) et la compréhension de la parole. Le benchmark s'appuie sur plus d'un million d'évaluations humaines individuelles, recueillies auprès de divers groupes démographiques, styles de parole et environnements acoustiques. La version actuelle comprend 785 000 évaluations TTS et 48 000 évaluations S2S, ce qui en fait l'une des plus vastes études intégrant l'humain dans la boucle sur la qualité de l'IA vocale. Les évaluations ont été réalisées sur la plateforme Kairos. Selon les résultats, aucun système ne se classe dans le top cinq dans les huit groupes de capacités, soulignant qu'il n'existe pas de modèle vocal « meilleur » unique. Les modèles de parole à parole ont montré la plus grande variance : certains performaient bien pour reconnaître les émotions, mais ne pouvaient pas répondre naturellement. Il s'est avéré que l'accès à l'audio ne garantit pas que les agents utilisent des informations paralinguistiques ; de nombreux systèmes restent dépendants des transcriptions, ignorant le ton, les pauses, les hésitations, l'intonation et le volume. Le benchmark a également révélé que les modèles fonctionnent moins bien avec la parole accentuée, les voix qui se chevauchent, les émotions, le bruit de fond et les longs dialogues. Les taux d'erreur de mots pour la parole bruitée étaient environ quatre fois plus élevés que pour un fond musical. De plus, certains modèles semblent optimisés pour les benchmarks standards, reproduisant des erreurs connues issues de transcriptions de référence. Une comparaison des principaux modèles de langage vocal (SLM) avec des évaluateurs humains formés a montré que l'accord est le plus élevé sur les tâches ayant des réponses correctes claires, mais diminue sur les évaluations subjectives, par exemple pour associer une voix à un rôle d'acteur ou préserver l'identité. Les évaluateurs automatisés ne sont pas encore capables de remplacer les humains lorsque le jugement dépend du contexte acoustique et de l'interprétation sociale.