Vertailu 23 ASR-mallista venäjänkieliseen IT-saneluun: maaliskuun suositukseni on vanhentunut
OpenAI
Kehittäjä arvioi uudelleen puheentunnistusmalleja venäjänkieliseen IT-saneluun testaamalla 23 ASR-mallia yli 60 konfiguraatiossa ja 100 000 ajolla. Hän havaitsi, että Breeze ASR, odottamaton löytö, vastaa tai ylittää Whisper Large v3:n, mikä johti päivitettyyn suositukseen. Vertailussa otetaan käyttöön yhdistelmämittari Q, joka yhdistää WER:n, välimerkkien tarkkuuden ja uuden englannin säilytysindeksin (EPI), joka palkitsee mallit, jotka pitävät englanninkieliset termit latinalaisin kirjaimin.
Maaliskuussa kirjoittaja suositteli Whisper Large v3 -mallia venäjänkieliseen IT-saneluun, mutta löysi myöhemmin Breeze ASR -mallin, joka on optimoitu taiwaninmandariinille koodinvaihdon tuella ja suoriutui vähintään yhtä hyvin. Varmistaakseen asian hän rakensi tiukan vertailuasetelman: 23 mallia yli 60 kokoonpanossa, yli 100 000 suorituskertaa venäläis-englantilaisessa IT-korpuksessa, käyttäen yli 120 tuntia laskentaa RTX 5070 Ti -näytönohjaimella. Korpus sisältää kaksi puhujaa (kirjoittaja ja hänen vaimonsa) lukemassa pitkiä tekstejä, joissa on vaihtelevia määriä englanninkielisiä IT-termejä. Yhdistelmämittari Q (0,65 WER + 0,10 välimerkit + 0,25 EPI) tasapainottaa sanatarkkuuden, välimerkkien laadun ja englanninkielisten termien säilyttämisen latinalaisin kirjaimin. WER on normalisoitu niin, että se ei rankaise translitteroinneista, kun taas EPI palkitsee kanonisista englanninkielisistä muodoista ja antaa osittaisen hyvityksen epätäydellisestä latinalaisen kirjoituksen säilyttämisestä. Tulokset osoittavat, että Breeze ASR suoriutuu tässä vertailussa Whisper Large v3 -mallia paremmin, joten maaliskuun suositus on vanhentunut. Kirjoittaja testasi myös useita välimerkkikehotteita ja havaitsi, että mukautettu kehote parantaa välimerkkejä merkittävästi. Interaktiivinen vertailusivu mahdollistaa painotusten säätämisen eri saneluskenaarioihin.
Lähde: Habr — хаб ML —
Alkuperäinen