Real World VoiceEQ 출시: 음성 AI 품질 평가를 위한 새로운 벤치마크

Hume AI 팀이 인간의 관점에서 음성 AI의 품질을 평가하기 위해 설계된 Real World VoiceEQ 벤치마크를 발표했습니다. 이 벤치마크는 40개 이상의 주요 독점 및 오픈소스 음성 AI 모델을 15개 이상의 핵심 차원과 60개 이상의 메트릭으로 평가하며, 자동 음성 인식(ASR), 텍스트-음성 변환(TTS), 음성-음성 변환(S2S), 음성 이해를 다룹니다. 벤치마크는 다양한 인구통계학적 그룹, 발화 스타일 및 음향 환경에서 수집된 100만 건 이상의 개별 인간 평가를 기반으로 합니다. 현재 버전에는 78만 5000건의 TTS 평가와 4만 8000건의 S2S 평가가 포함되어 있어, 음성 AI 품질에 대한 가장 큰 규모의 인간 참여형 연구 중 하나입니다. 평가는 Kairos 플랫폼에서 수행되었습니다. 결과에 따르면, 8개 능력 그룹 모두에서 상위 5위 안에 드는 단일 시스템은 없었으며, 이는 단일 '최고' 음성 모델이 없음을 강조합니다. 음성-음성 변환 모델은 가장 큰 편차를 보였습니다. 일부는 감정 인식에 뛰어났지만 자연스럽게 응답하지 못했습니다. 오디오에 접근할 수 있다고 해서 에이전트가 준언어적 정보를 사용하는 것은 아니라는 사실이 드러났습니다. 많은 시스템이 전사에 의존하며, 어조, 멈춤, 망설임, 억양, 음량을 무시합니다. 벤치마크는 또한 모델이 악센트가 있는 발화, 중첩된 목소리, 감정, 배경 소음 및 긴 대화에서 성능이 저하된다는 것을 보여주었습니다. 잡음이 있는 음성에 대한 단어 오류율은 음악 배경에 비해 약 4배 높았습니다. 또한 일부 모델은 표준 벤치마크에 최적화된 것으로 보이며, 참조 전사에서 알려진 오류를 재현했습니다. 주요 음성 언어 모델(SLM)을 훈련된 인간 평가자와 비교한 결과, 명확한 정답이 있는 과제에서는 일치율이 가장 높았지만 주관적 평가(예: 음성을 연기 역할에 매칭하거나 정체성 유지)에서는 감소했습니다. 자동 평가자는 판단이 음향 맥락과 사회적 해석에 의존할 때 인간을 아직 대체할 수 없습니다.