NVIDIA Magpie TTS: 오픈 가중치 다국어 음성 생성과 완전한 배포 제어
NVIDIA
NVIDIA가 12개 언어를 지원하는 오픈 가중치 모델인 Magpie TTS Multilingual을 출시했습니다. 여기에는 현대 표준 아랍어, 한국어, 브라질 포르투갈어 등 새로운 언어가 포함됩니다. 이 모델은 프레임 스태킹과 로컬 트랜스포머 기법을 통해 낮은 지연 시간을 제공하며, NVIDIA NIM 및 Hugging Face 체크포인트를 통한 유연한 배포 옵션을 지원합니다.
NVIDIA가 Magpie TTS Multilingual을 소개합니다. 이는 12개 언어를 지원하는 3억 6400만 개의 파라미터를 가진 오픈 가중치(open-weights) 텍스트 음성 변환 모델로, 현대 표준 아랍어, 한국어, 브라질 포르투갈어가 새롭게 추가되었습니다. 이 모델은 저지연 음성 에이전트를 위해 설계되었으며, B200 GPU에서 첫 오디오 생성 시간(TTFA)이 32밀리초에 달하고 높은 처리량을 제공합니다. 아키텍처 개선에는 프레임 스태킹을 통한 디코더 반복 감소와 오디오 품질 유지를 위한 로컬 트랜스포머가 포함됩니다. 이번 출시는 프랑스어와 스페인어에 대한 문자 오류율(CER) 감소 및 화자 유사도(SSIM) 향상과 같은 개선된 품질 지표를 강조합니다. 개발자는 NVIDIA NIM 또는 Hugging Face 체크포인트를 사용하여 자체 인프라에 모델을 배포하고, NVIDIA NeMo로 사용자 지정하며, Nemotron Voice Agent Developer Example과 통합하여 완전한 음성 에이전트를 구축할 수 있습니다.
출처: Hugging Face blog —
원문