Alibaba lanza CosyVoice Studio, la primera plataforma china de voz con IA que integra comprensión semántica en las capacidades de voz

El 7 de agosto, Alibaba lanzó oficialmente CosyVoice Studio, la primera plataforma integral de producción de voz con inteligencia artificial de China, construida sobre su modelo de voz de desarrollo propio Qwen-Audio, que alcanzó el primer lugar a nivel mundial en reconocimiento de voz (ASR), interacción en tiempo real y síntesis de voz (TTS) en la plataforma de evaluación autorizada de IA Artificial Analysis. La plataforma incluye tres funciones principales: el teclado de voz convierte el habla en texto estructurado eliminando palabras de relleno, la herramienta de creación de contenido de audio transforma el contenido del usuario en podcasts y audiolibros, y el agente de voz permite a las empresas crear agentes conversacionales en tiempo real. Es la primera vez que Alibaba agrega sus capacidades de modelos de voz en un producto, lo que permite a los usuarios empresariales probar la experiencia y luego llamar a las API según sea necesario, mientras que los usuarios individuales pueden usarlo directamente. El teclado de voz admite la transcripción inteligente de texto especial como números y fórmulas, y su modo 'notas' está diseñado para reuniones largas, entrevistas y clases, con transcripción en tiempo real, diarización de hablantes, capítulos estructurados y traducción multilingüe. La herramienta de agente, CosyAgent, permite a los usuarios crear agentes con lenguaje natural, admitiendo la configuración profunda de prompts y flujos de trabajo para servicio al cliente y telemarketing. La herramienta de creación de contenido, CosyCreative, ofrece miles de voces y clonación de voz para generar podcasts conversacionales y audiolibros de múltiples roles. La plataforma está disponible de forma gratuita en iOS, Android, Mac y Windows a través de las tiendas de aplicaciones, mientras que CosyAgent y CosyCreative se están probando con usuarios empresariales de forma selectiva.