Real World VoiceEQ Diperkenalkan: Tolok Ukur Baru untuk Mengevaluasi Kualitas Suara AI

Tim di balik Hume AI telah memperkenalkan benchmark Real World VoiceEQ, yang dirancang untuk mengevaluasi kualitas AI suara dari perspektif manusia. Benchmark ini menilai lebih dari 40 model AI suara proprietary dan open-source terkemuka di lebih dari 15 dimensi kunci dan 60+ metrik, mencakup pengenalan ucapan otomatis (ASR), text-to-speech (TTS), speech-to-speech (S2S), dan pemahaman ucapan. Benchmark ini didasarkan pada lebih dari 1 juta evaluasi manusia individual, yang dikumpulkan dari berbagai kelompok demografis, gaya bicara, dan lingkungan akustik. Versi saat ini mencakup 785.000 evaluasi TTS dan 48.000 evaluasi S2S, menjadikannya salah satu studi human-in-the-loop terbesar tentang kualitas AI suara. Evaluasi dilakukan pada platform Kairos. Menurut hasilnya, tidak ada satu sistem pun yang masuk peringkat lima besar di semua delapan kelompok kemampuan, menyoroti bahwa tidak ada model suara "terbaik" tunggal. Model speech-to-speech menunjukkan varians terbesar: beberapa berkinerja baik dalam mengenali emosi tetapi tidak dapat merespons secara alami. Ternyata akses ke audio tidak menjamin bahwa agen menggunakan informasi paralinguistik—banyak sistem tetap bergantung pada transkrip, mengabaikan nada, jeda, keraguan, intonasi, dan volume. Benchmark juga mengungkapkan bahwa model berkinerja lebih buruk dengan ucapan beraksen, suara yang tumpang tindih, emosi, kebisingan latar belakang, dan dialog panjang. Tingkat kesalahan kata untuk ucapan bising kira-kira empat kali lebih tinggi daripada latar belakang musik. Selain itu, beberapa model tampaknya dioptimalkan untuk benchmark standar, mereproduksi kesalahan yang diketahui dari transkrip referensi. Perbandingan model bahasa ucapan (SLM) terkemuka dengan evaluator manusia terlatih menunjukkan bahwa kesepakatan tertinggi terjadi pada tugas dengan jawaban benar yang jelas, tetapi menurun pada evaluasi subjektif—misalnya, mencocokkan suara dengan peran akting atau mempertahankan identitas. Evaluator otomatis belum mampu menggantikan manusia ketika penilaian bergantung pada konteks akustik dan interpretasi sosial.