نفيديا ماجباي للتحويل النصي إلى كلام: توليد صوتي متعدد اللغات بأوزان مفتوحة وتحكم كامل في النشر

تقدم NVIDIA نموذج Magpie TTS Multilingual، وهو نموذج تحويل نص إلى كلام مفتوح الأوزان بحجم 364 مليون معلمة، يدعم 12 لغة، مع إضافات جديدة تشمل اللغة العربية الفصحى الحديثة والكورية والبرتغالية البرازيلية. صُمم النموذج لوكيلات الصوت منخفضة زمن الاستجابة، حيث يحقق زمن الوصول إلى أول صوت (TTFA) يبلغ 32 مللي ثانية على معالجات B200 GPU، ويوفر إنتاجية عالية. تتضمن التحسينات المعمارية تكديس الإطارات لتقليل تكرارات وحدة فك الترميز، ومحولًا محليًا للحفاظ على جودة الصوت. يسلط الإصدار الضوء على تحسين مؤشرات الجودة، مثل تقليل معدلات خطأ الأحرف (CER) وزيادة تشابه المتحدث (SSIM) للغتين الفرنسية والإسبانية. يمكن للمطورين نشر النموذج على بنيتهم التحتية الخاصة باستخدام NVIDIA NIM أو نقاط التحقق من Hugging Face، وتخصيصه باستخدام NVIDIA NeMo، ودمجه مع المثال التطبيقي لوكيل الصوت Nemotron لبناء وكلاء صوت كاملين.