PVAD: Yapay Zekaya Gürültülü Bir Ortamda Doğru Kişiyi Duymayı Nasıl Öğretiriz?

Singularis ekibi, bir ses akışında belirli bir kişinin ne zaman konuştuğunu belirlemeye yarayan PVAD (Kişisel Ses Aktivitesi Tespiti) teknolojisi üzerinde çalıştı. Hedef konuşmacının kısa bir ses örneğine dayanarak sistemin, konuşma bölümlerini tanımlaması, arka plan gürültüsünü ve diğer sesleri bastırması ve ayrıca konuşmacı ayrımı olmadan son teknoloji bir gürültü giderme yaklaşımını kopyalamaya çalışması gerekiyordu. Proje, temel olarak Demucs kullanılarak, ResNet mimarisi ve x-vektör teknolojisinden alınan ses yerleştirmeleri ile güçlendirildi; ayrıca Kaldi, PyTorch ve TensorFlow da kullanıldı. Eğitim ve değerlendirme için LibriSpeech ve VoxCeleb2 dahil olmak üzere toplamda 1 terabaytı aşan büyük açık veri setleri ve ayrıca küçük müşteri veri setleri kullanıldı. Yüzden fazla deney yapıldı ve ekip, hem yakın hem de uzak mikrofon koşullarında PVAD için hedef metrikleri elde etti ve müşteri test verilerinde model kalitesini iyileştirdi. Ancak, gürültü giderici kontur, zaman sınırı içinde son teknoloji sonuçlara ulaşamadı; ekip bunun yaklaşımın uygulanabilirliği hakkında önemli bir bulgu olduğunu düşünüyor.