FFASR Lider Tablosu Yayında: Gerçek Akustik Koşullarda ASR Değerlendirmesi için Kriter

Hugging Face ve Treble Technologies tarafından oluşturulan FFASR Liderlik Tablosu, gerçekçi uzak alan akustik koşulları altında ASR modellerini değerlendirmek için ilk açık topluluk odaklı kıyaslamadır. Standart yakın alan kıyaslamalarında iyi puan alan modellerin yankılanma, arka plan gürültüsü ve mikrofon mesafesi altında önemli ölçüde bozulduğu, kıyaslama performansı ile gerçek dünya dağıtımı arasındaki kalıcı boşluğu ele alır. Liderlik tablosu, dokuz koşulda modelleri değerlendirir ve dördü birincil sıralama puanını belirler. Akustik veriler, kırınım ve girişim gibi olayları yakalamak için dalga tabanlı ve geometrik akustik modellemeyi birleştiren Treble'ın hibrit simülasyon motoru kullanılarak oluşturulur. 20 ila 470 m³ arasında değişen, tamamen döşenmiş on dört oda dahildir. Liderlik tablosu, WER'in yanı sıra, NVIDIA L4 GPU üzerinde değerlendirilen her gönderim için RTFx'i (saniye başına ses saniyesi) raporlar. İlk sonuçlar, düşük SNR'de uzak alan WER'inin yakın alan WER'inden birkaç kat daha yüksek olduğunu göstermektedir. Liderlik tablosu, Whisper varyantlarını, IBM Granite Speech'i, Cohere Transcribe'ı, Wav2Vec2'yi, HuBERT'i, SpeechBrain'i ve Hugging Face model kimliği gönderimi yoluyla çoğu diğer ASR mimarisini destekler. Özel bir değerlendirici seçeneği, daha karmaşık çıkarım yığınlarına izin verir. Gelecek planları arasında çoklu konuşmacı senaryoları, mikrofon dizisi değerlendirmesi ve yankı giderme yer almaktadır.