एनवीडिया ने NemotronLabs VoiceChat 11B ओपन फुल-डुप्लेक्स स्पीच मॉडल पेश किया, जिसमें 450 ms टर्न-टेकिंग और लाइव टूल कॉलिंग है
NVIDIA
NVIDIA ने NemotronLabs VoiceChat 11B जारी किया है, जो एक ओपन फुल-डुप्लेक्स स्पीच-टू-स्पीच मॉडल है जो एक ही नेटवर्क में स्ट्रीमिंग स्पीच समझ और जनरेशन करता है, और 448 ms की टर्न-टेकिंग लेटेंसी प्राप्त करता है। यह पहला ओपन फुल-डुप्लेक्स मॉडल है जो बातचीत के दौरान टूल कॉलिंग का समर्थन करता है, साइड चैनल और ऑपरेटर-परिभाषित होल्ड-ऑन संदेशों का उपयोग करके। यह मॉडल केवल शोध पायलट परियोजनाओं के लिए उपलब्ध है, जिसके लिए 80 GB GPU की आवश्यकता होती है, और अभी तक इसका कोई होस्टेड API नहीं है।
NVIDIA ने NemotronLabs VoiceChat 11B जारी किया, जो रीयल-टाइम, फुल-डुप्लेक्स संवाद के लिए एक खुला 11B एंड-टू-एंड स्पीच-टू-स्पीच मॉडल है। कैस्केडेड सिस्टम के विपरीत, यह एक ही नेटवर्क में भाषण समझ और पीढ़ी को एकीकृत करता है, जिससे मल्टी-मॉडल ऑर्केस्ट्रेशन समाप्त हो जाता है और Full-Duplex-Bench 1.0 पर विलंबता घटकर 448 मिलीसेकंड रह जाती है। मॉडल बार्ज-इन की अनुमति देता है, जिसमें 480 मिलीसेकंड पर टेक-ओवर दर 1.00 है। यह एक खुले फुल-डुप्लेक्स मॉडल में टूल कॉलिंग की शुरुआत करता है, एक अलग चैनल पर <TOOLCALL> स्क्रिप्ट उत्सर्जित करता है और एपीआई चलने के दौरान मौन से बचने के लिए ऑपरेटर-परिभाषित होल्ड-लाइनों का उपयोग करता है। मॉडल Nemotron-Speech-Streaming-En-0.6b से एक फास्ट कन्फॉर्मर स्पीच एनकोडर, Nemotron Nano v2 एलएलएम बैकबोन, और NVIDIA टीटीएस डिकोडर को जोड़ता है, जो लगभग 550k घंटे के ऑडियो पर प्रशिक्षित है। हालांकि, यह केवल शोध उद्देश्यों के लिए है, जिसमें दो मिनट के ऑडियो संदर्भ सीमा और कुछ मोड़ों के बाद गिरावट जैसे दस्तावेजित विफलता मोड हैं। इसके लिए 80 गीगाबाइट जीपीयू (जैसे, A100, H100, RTX 6000 Pro, या B200) की आवश्यकता होती है और कोई होस्टेड एपीआई नहीं है। बाधाओं में प्रति सत्र अधिकतम पांच उपकरण और केवल ASCII-सिस्टम प्रॉम्प्ट शामिल हैं। प्रदर्शन स्कोर में AU Harness BFCL-v3 पर 58.5% सरल टूल कॉलिंग और Full-Duplex-Bench v3 पर 82.5% टूल चयन शामिल है। मॉडल VoiceBench और Full-Duplex-Bench 1.0 पर खुले फुल-डुप्लेक्स मॉडलों में दूसरे स्थान पर है।
स्रोत: MarkTechPost —
मूल