Miksi tekoälyn ääniagentit keskeyttävät ihmisen: mitattu live-rajapinnassa ja korjattu venäjän kieliopin säännöillä
Яндекс
OpenAI
Ääni-AI-alustat määrittävät käyttäjän puheen päättymisen hiljaisuusajastimen (VAD) avulla. Testit oikealla rajapinnalla osoittivat, että 1275 millisekunnin viiveestä ennen tekoälyn vastausta 1200 millisekuntia on pelkkää ajastimen odottelua ja vain 75 millisekuntia on varsinaista mallin työtä. Kirjoittaja ehdottaa sääntöpohjaista tunnistinta venäjän kieliopille, joka vähentää viiveen 316 millisekuntiin vain kahdella keskeytyksellä 38:n sijaan.
Eräs insinööri mittasi puheentunnistuksen viivettä AI-vastauksissa käyttämällä synteettistä venäjänkielistä lausetta Yandex Realtime -rajapinnan kautta (yhteensopiva OpenAI Realtime -rajapinnan kanssa). Hän vaihteli silence_duration_ms-parametria: 400 ms:n tai 800 ms:n asetuksella agentti vastasi lähes välittömästi, mutta kuuli vain tervehdyksen, jättäen varsinaisen kysymyksen huomiotta. 1200 ms:n asetuksella koko lause tunnistettiin, mutta viive oli 1275 ms, josta vain 75 ms oli mallin laskentaa. Hän rakensi sääntöpohjaisen tunnistimen venäjän kielen syntaksille, joka päättää sopivan hiljaisuuden kynnyksen: 250 ms, jos lausuma on todennäköisesti valmis; 1400 ms, jos se on keskeneräinen (esimerkiksi päättyy prepositioon tai konjunktioon); ja 700 ms, jos epävarma. Testijoukossa, jossa oli 72 aitoa puhelintyyylistä lausetta, tämä lähestymistapa saavutti 97 prosentin tarkkuuden (70/72), vähensi keskeytykset 38:sta 2:een ja keskimääräisen hiljaisuuden ennen vastauksia 1200 ms:sta 316 ms:iin. Kaksi jäljellä olevaa epäonnistumista ovat pragmatiikkaan liittyviä (esimerkiksi ”ei, ymmärsit minut väärin”), joita säännöt eivät pysty käsittelemään; kirjoittaja suunnittelee vertaavansa koulutettuun semanttiseen malliin. Hän myös varoittaa leikkaamaan alku- ja loppuhiljaisuuden mitattaessa viiveitä synteettisestä puheesta, muuten tulokset vääristyvät.
Lähde: Habr — хаб ИИ —
Alkuperäinen