Mistral AI julkaisee Voxtral Transcribe 2 -mallit erittäin matalalla viiveellä toimivaan puheentunnistukseen

Mistral AI on ilmoittanut uudesta Voxtral Transcribe 2 -perheestä, johon kuuluu kaksi puheentunnistusmallia, jotka on suunniteltu korkealaatuiseen transkriptioon, puhujien erotteluun ja pieneen viiveeseen. Perheeseen kuuluvat Voxtral Mini Transcribe V2 eräajoa ja Voxtral Realtime reaaliaikasovelluksia varten. Voxtral Realtime käyttää uutta suoratoistoarkkitehtuuria, joka käsittelee ääntä saapumisen yhteydessä, ja mahdollistaa viiveen säätämisen alle 200 millisekuntiin. Mallissa on 4 miljardia parametria, se tukee 13 kieltä (muun muassa englanti, kiina, hindi, espanja, arabia, ranska, portugali, venäjä, saksa, japani, korea, italia ja hollanti), ja se jaetaan avoimilla painoilla Apache 2.0 -lisenssillä Hugging Face Hubissa. Voxtral Mini Transcribe V2 saavuttaa noin 4 prosentin virhetason FLEURS-testissä ja maksaa 0,003 dollaria minuutilta, minkä yrityksen mukaan antaa parhaan hinta-laatusuhteen transkriptio-API:lle. Malli ylittää tarkkuudessa GPT-4o mini Transcripin, Gemini 2.5 Flashin, Assembly Universalin ja Deepgram Novan, käsittelee ääntä noin kolme kertaa nopeammin kuin ElevenLabs Scribe v2 samalla tarkkuudella ja on viisi kertaa halvempi. Voxtral Mini Transcribe V2 tukee puhujien erottelua (puhujamerkinnät tarkoilla aloitus- ja lopetusajoilla), kontekstinhallintaa (jopa 100 sanaa oikeinkirjoituksen korjaamiseen), sekunnin tarkkuudella olevia aikaleimoja, melunsietoa, enintään 3 tunnin äänen käsittelyä ja samoja 13 kieltä. Lisäksi on julkaistu Mistral Studio -äänikokeilu, jossa voi testata transkriptiota puhujien erottelulla ja aikaleimoilla. Voxtral Mini Transcribe V2 on saatavilla API:n kautta hintaan 0,003 dollaria minuutilta, Voxtral Realtime hintaan 0,006 dollaria minuutilta ja avoimilla painoilla. Molemmat mallit tukevat käyttöönottoa GDPR- ja HIPAA-vaatimusten mukaisesti paikallisten tai yksityisten pilviasennusten kautta.