Alibaba lanceert China's eerste AI-stemplatform CosyVoice Studio, met semantisch begrip geïntegreerd in stemmogelijkheden

Op 7 augustus lanceerde Alibaba officieel CosyVoice Studio, het eerste alles-in-één AI-stemproductieplatform van China, gebouwd op het eigen stemmodel Qwen-Audio, dat wereldwijd de eerste plaats behaalde op het gebied van spraakherkenning (automatische spraakherkenning, ASR), real-time interactie en spraaksynthese (tekst-naar-spraak, TTS) op het gezaghebbende AI-evaluatieplatform Artificial Analysis. Het platform bevat drie belangrijke functies: het stemtoetsenbord zet spraak om in gestructureerde tekst door stopwoordjes te verwijderen, de audiocontenttool transformeert gebruikerscontent in podcasts en audioboeken, en de stemagent stelt bedrijven in staat om real-time conversatieagents te creëren. Het platform is de eerste keer dat Alibaba zijn stemmodelcapaciteiten in een product heeft gebundeld, waardoor bedrijfsgebruikers de ervaring kunnen testen en vervolgens API's kunnen aanroepen indien nodig, terwijl individuele gebruikers het direct kunnen gebruiken. Het stemtoetsenbord ondersteunt intelligente transcriptie van speciale tekst zoals cijfers en formules, en de 'notities'-modus is ontworpen voor lange vergaderingen, interviews en lessen, met real-time transcriptie, sprekerdiarisatie, gestructureerde hoofdstukken en meertalige vertaling. De agenttool, CosyAgent, stelt gebruikers in staat om agents te creëren met natuurlijke taal, met diepgaande configuratie van prompts en workflows voor klantenservice en telefonische verkoop. De contentcreatietool, CosyCreative, biedt duizenden stemmen en stemklonen om conversatiepodcasts en multi-rol audioboeken te genereren. Het platform is gratis beschikbaar op iOS, Android, Mac en Windows via appstores, terwijl CosyAgent en CosyCreative op whitelist-basis worden getest met bedrijfsgebruikers.