NVIDIA Magpie TTS: generación de voz multilingüe con pesos abiertos y control total del despliegue
NVIDIA
NVIDIA lanza Magpie TTS Multilingual, un modelo de pesos abiertos que admite 12 idiomas, incluidas nuevas incorporaciones como el árabe estándar moderno, el coreano y el portugués brasileño. El modelo ofrece baja latencia mediante técnicas de apilamiento de tramas y transformadores locales, con flexibilidad de despliegue a través de NVIDIA NIM y puntos de control de Hugging Face.
NVIDIA presenta Magpie TTS Multilingual, un modelo de texto a voz de pesos abiertos con 364 millones de parámetros que admite 12 idiomas, con las nuevas incorporaciones del árabe estándar moderno, el coreano y el portugués brasileño. El modelo está diseñado para agentes de voz de baja latencia, logrando un tiempo hasta el primer audio (TTFA) de 32 ms en GPUs B200 y ofreciendo un alto rendimiento. Las mejoras arquitectónicas incluyen el apilamiento de tramas para reducir las iteraciones del decodificador y un transformador local para mantener la calidad del audio. El lanzamiento destaca métricas de calidad mejoradas, como tasas de error de caracteres (CER) reducidas y una mayor similitud del hablante (SSIM) para francés y español. Los desarrolladores pueden implementar el modelo en su propia infraestructura utilizando NVIDIA NIM o los puntos de control de Hugging Face, personalizarlo con NVIDIA NeMo e integrarlo con el ejemplo de desarrollo de agente de voz Nemotron para construir agentes de voz completos.
Fuente: Hugging Face blog —
original