Real World VoiceEQ Lançado: Novo Padrão para Avaliar a Qualidade de Voz em IA

A equipe por trás da Hume AI apresentou o Real World VoiceEQ benchmark, desenvolvido para avaliar a qualidade da inteligência artificial de voz a partir de uma perspectiva humana. Ele avalia mais de 40 modelos líderes proprietários e de código aberto de IA de voz em mais de 15 dimensões-chave e 60 métricas, abrangendo reconhecimento automático de fala (ASR), texto para fala (TTS), fala para fala (S2S) e compreensão de fala. O benchmark é baseado em mais de 1 milhão de avaliações humanas individuais, coletadas em diversos grupos demográficos, estilos de fala e ambientes acústicos. A versão atual inclui 785.000 avaliações TTS e 48.000 avaliações S2S, tornando-se um dos maiores estudos de qualidade de IA de voz com humanos no circuito. As avaliações foram realizadas na plataforma Kairos. De acordo com os resultados, nenhum sistema individual está entre os cinco primeiros em todos os oito grupos de capacidade, destacando que não existe um único modelo de voz “melhor”. Os modelos de fala para fala apresentaram a maior variação: alguns tiveram bom desempenho no reconhecimento de emoções, mas não conseguiram responder naturalmente. Descobriu-se que o acesso ao áudio não garante que os agentes usem informações paralinguísticas — muitos sistemas permanecem dependentes de transcrições, ignorando tom, pausas, hesitações, entonação e volume. O benchmark também revelou que os modelos têm pior desempenho com fala sotaqueada, vozes sobrepostas, emoções, ruído de fundo e diálogos longos. As taxas de erro de palavras para fala ruidosa foram aproximadamente quatro vezes maiores do que para fundo musical. Além disso, alguns modelos parecem otimizados para benchmarks padrão, reproduzindo erros conhecidos de transcrições de referência. Uma comparação dos principais modelos de linguagem de fala (SLMs) com avaliadores humanos treinados mostrou que a concordância é maior em tarefas com respostas corretas claras, mas diminui em avaliações subjetivas — por exemplo, associar uma voz a um papel de atuação ou preservar a identidade. Avaliadores automatizados ainda não são capazes de substituir humanos quando o julgamento depende de contexto acústico e interpretação social.