Alibaba startet mit CosyVoice Studio Chinas erste KI-Sprachplattform und integriert semantisches Verständnis in die Sprachfunktionen

Am 7. August hat Alibaba offiziell CosyVoice Studio vorgestellt, Chinas erste One-Stop-Plattform für KI-Sprachproduktion. Sie basiert auf dem selbst entwickelten Sprachmodell Qwen-Audio, das auf der maßgeblichen KI-Bewertungsplattform Artificial Analysis weltweit den ersten Platz bei Spracherkennung (ASR), Echtzeitinteraktion und Sprachsynthese (TTS) belegt. Die Plattform umfasst drei Hauptfunktionen: Die Sprach-Tastatur wandelt Sprache in strukturierten Text um, indem sie Füllwörter entfernt; das Tool zur Audiokreation transformiert Nutzerinhalte in Podcasts und Hörbücher; und der Sprachagent ermöglicht Unternehmen die Erstellung von Echtzeit-Konversationsagenten. Es ist das erste Mal, dass Alibaba seine Sprachmodellfähigkeiten in einem Produkt bündelt. Unternehmensnutzer können die Erfahrung testen und anschließend je nach Bedarf APIs aufrufen, während Einzelnutzer sie direkt verwenden können. Die Sprach-Tastatur unterstützt die intelligente Transkription von Sonderzeichen wie Zahlen und Formeln; ihr Modus „Notizen“ ist für lange Meetings, Interviews und Vorlesungen konzipiert und bietet Echtzeittranskription, Sprecherdiarisierung, strukturierte Kapitel sowie mehrsprachige Übersetzung. Das Agenten-Tool CosyAgent ermöglicht es Nutzern, Agenten in natürlicher Sprache zu erstellen und unterstützt die tiefgehende Konfiguration von Prompts und Workflows für Kundenservice und Telemarketing. Das Kreativ-Tool CosyCreative bietet Tausende von Stimmen und Stimmklonen zur Erstellung von Konversations-Podcasts und Hörbüchern mit mehreren Rollen. Die Plattform ist kostenlos über die App-Stores für iOS, Android, Mac und Windows verfügbar, während CosyAgent und CosyCreative derzeit mit Unternehmensnutzern auf Whitelist-Basis getestet werden.