Real World VoiceEQ esitellään: Uusi vertailuäänen arviointiin tekoälyn puheelle

Hume AI:n tiimi on julkaisenut Real World VoiceEQ -vertailutestin, joka on suunniteltu arvioimaan äänipohjaisen tekoälyn laatua ihmisen näkökulmasta. Testi arvioi yli 40 johtavaa suljettua ja avoimen lähdekoodin äänimallia yli 15 keskeisen ulottuvuuden ja yli 60 mittarin avulla, kattaen puheentunnistuksen (ASR, automatic speech recognition), tekstistä puheeksi -muunnoksen (TTS, text-to-speech), puheesta puheeksi -muunnoksen (S2S, speech-to-speech) ja puheen ymmärtämisen. Vertailutesti pohjautuu yli miljoonaan yksittäiseen ihmisarviointiin, jotka on kerätty eri väestöryhmien, puhetyylien ja akustisten ympäristöjen kesken. Nykyinen versio sisältää 785 000 TTS-arviointia ja 48 000 S2S-arviointia, mikä tekee siitä yhden laajimmista ihmisen mukana toteutetuista äänipohjaisen tekoälyn laatua koskevista tutkimuksista. Arvioinnit suoritettiin Kairos-alustalla. Tulosten mukaan yksikään järjestelmä ei sijoitu viiden parhaan joukkoon kaikissa kahdeksassa osaamisryhmässä, mikä korostaa sitä, että yhtä ainoaa “parasta” äänimallia ei ole olemassa. Puheesta puheeksi -mallit osoittivat suurinta vaihtelua: osa niistä tunnisti tunteita hyvin, mutta ei kyennyt vastaamaan luonnollisesti. Kävi ilmi, että pääsy äänidataan ei takaa, että agentit hyödyntävät paralingvistista tietoa – monet järjestelmät nojaavat edelleen litteroituun tekstiin ja jättävät huomiotta äänensävyn, tauot, epäröinnit, intonaation ja äänenvoimakkuuden. Vertailutesti paljasti myös, että mallit toimivat heikommin murteellisen puheen, päällekkäisten äänien, tunteiden, taustamelun ja pitkien vuoropuhelujen kanssa. Sananvirhesuhde meluisassa puheessa oli noin nelinkertainen verrattuna musiikkitaustaiseen puheeseen. Lisäksi osa malleista näyttää olevan optimoitu vakiintuneita vertailutestejä varten, sillä ne toistavat referenssilitteroinneissa esiintyviä tunnettuja virheitä. Johtavien puhekielimallien (SLM, speech language model) vertailu koulutettuihin ihmisarvioijiin osoitti, että yhteneväisyys on suurinta tehtävissä, joissa on selkeä oikea vastaus, mutta heikkenee subjektiivisissa arvioinneissa – esimerkiksi kun arvioidaan äänen sopivuutta näyttelijäroolin kanssa tai identiteetin säilymistä. Automatisoidut arvioijat eivät siis vielä kykene korvaamaan ihmisiä tilanteissa, joissa arviointi riippuu akustisesta kontekstista ja sosiaalisesta tulkinnasta.