NVIDIA, 450 ms Anında Söz Alma ve Canlı Araç Çağırma ile NemotronLabs VoiceChat 11B Açık Tam Çift Yönlü Konuşma Modelini Tanıttı
NVIDIA
NVIDIA, tek bir ağda akışlı konuşma anlama ve üretim gerçekleştiren, 448 ms söz alma gecikmesi elde eden açık tam çift yönlü konuşmadan konuşmaya modeli NemotronLabs VoiceChat 11B'yi yayınladı. Konuşma sırasında araç çağırmayı destekleyen ilk açık tam çift yönlü modeldir; yan kanal ve operatör tanımlı bekletme mesajları kullanır. Model yalnızca araştırma pilot projeleri için kullanılabilir, 80 GB GPU gerektirir ve henüz barındırılan bir API'si yoktur.
NVIDIA, gerçek zamanlı ve tam çift yönlü konuşma için açık kaynaklı 11B uçtan uca konuşmadan konuşmaya model olan NemotronLabs VoiceChat 11B'yi yayınladı. Basamaklı sistemlerin aksine, konuşma anlama ve üretimini tek bir ağda birleştirerek çok modelli orkestrasyonu ortadan kaldırır ve gecikmeyi Full-Duplex-Bench 1.0'da 448 milisaniyeye düşürür. Model, 480 milisaniyede 1.00 devralma oranıyla araya girmeye olanak tanır. Ayrıca, açık tam çift yönlü bir modelde araç çağrısını öncü olarak başlatır; <TOOLCALL> komut dosyalarını ayrı bir kanalda yayar ve API'ler çalışırken sessizliği önlemek için operatör tanımlı bekletme hatlarını kullanır. Model, Nemotron-Speech-Streaming-En-0.6b'den Fast Conformer konuşma kodlayıcıyı, Nemotron Nano v2 LLM omurgasını ve NVIDIA TTS kod çözücüyü birleştirir ve yaklaşık 550 bin saatlik sesle eğitilmiştir. Ancak, yalnızca araştırma amaçlıdır; iki dakikalık ses bağlamı sınırı ve birkaç turdan sonra bozulma gibi belgelenmiş hata modları vardır. Bir adet 80 GB GPU (örneğin, A100, H100, RTX 6000 Pro veya B200) gerektirir ve barındırılan bir API'si yoktur. Kısıtlamalar arasında oturum başına en fazla beş araç ve yalnızca ASCII sistem istemleri yer alır. Performans puanları, AU Harness BFCL-v3'te %58.5 basit araç çağrısı ve Full-Duplex-Bench v3'te %82.5 araç seçimi içerir. Model, VoiceBench ve Full-Duplex-Bench 1.0'da açık tam çift yönlü modeller arasında #2 sırada yer alır.
Kaynak: MarkTechPost —
orijinal