NVIDIA Magpie TTS: Tạo Giọng Nói Đa Ngôn Ngữ Mã Nguồn Mở với Toàn Quyền Kiểm Soát Triển Khai

NVIDIA giới thiệu Magpie TTS Multilingual, một mô hình chuyển văn bản thành giọng nói mã nguồn mở với 364 triệu tham số, hỗ trợ 12 ngôn ngữ, bao gồm cả các ngôn ngữ mới như tiếng Ả Rập hiện đại chuẩn, tiếng Hàn và tiếng Bồ Đào Nha Brazil. Mô hình được thiết kế cho các tác nhân giọng nói có độ trễ thấp, đạt thời gian từ yêu cầu đến âm thanh đầu tiên (TTFA) là 32ms trên GPU B200 và mang lại thông lượng cao. Các cải tiến về kiến trúc bao gồm gộp khung hình để giảm số lần giải mã và transformer cục bộ để duy trì chất lượng âm thanh. Bản phát hành này nêu bật các chỉ số chất lượng được cải thiện, chẳng hạn như giảm tỷ lệ lỗi ký tự (CER) và tăng độ tương đồng giọng nói (SSIM) cho tiếng Pháp và tiếng Tây Ban Nha. Các nhà phát triển có thể triển khai mô hình trên cơ sở hạ tầng của riêng họ bằng cách sử dụng NVIDIA NIM hoặc các điểm kiểm tra trên Hugging Face, tùy chỉnh bằng NVIDIA NeMo và tích hợp với Ví dụ về tác nhân giọng nói Nemotron để xây dựng các tác nhân giọng nói hoàn chỉnh.