FFASR Leaderboard Launched — a Benchmark for Evaluating ASR in Real Acoustic Conditions

Treble Technologies ve Hugging Face, akustik olarak karmaşık ortamlarda (yankılanma, gürültü ve mikrofonun uzaklığı) gerçekçi uzak alan koşullarında ASR modellerini değerlendirmek için ilk açık ve topluluk destekli kıyaslama aracı olan FFASR Leaderboard'ı tanıttı. Kıyaslama, düşük ve orta frekanslar için dalga çözücü ile yüksek frekanslar için geometrik akustiği birleştiren Treble'ın hibrit simülatörünü kullanarak, 20 ile 470 metreküp arasında değişen 14 farklı odadaki fiziksel olayları hassas bir şekilde modelliyor. Değerlendirme, dördü ana sıralamayı oluşturan dokuz koşula göre yapılıyor ve ayrıca simülasyon doğrulama için Laboratuvar Ölçülmüş ve Laboratuvar Simüle Edilmiş parçaları ile hareketli ses kaynağına sahip bir beta sürümünü içeriyor. Her gönderim için dokuz koşulda Kelime Hata Oranı (WER) ve NVIDIA L4 GPU'da RTFx (çıkarım saniyesi başına ses saniyesi) kaydediliyor. Gönderilen tüm modellerin sonuçları, düşük SNR'de uzak alan WER'inin yakın alana göre birkaç kat daha yüksek olduğu istikrarlı bir fark gösteriyor ve Pareto cephesi görselleştirmesi, doğruluk ile hız arasındaki ödünleşimi net bir şekilde ortaya koyuyor. Kıyaslama, Hub üzerinden Whisper, IBM Granite Speech, Cohere Transcribe, Wav2Vec2, HuBERT, SpeechBrain ve diğer mimarileri desteklerken, karmaşık yığınlar için özel bir değerlendirici oluşturulabiliyor. Geliştiriciler, birden çok konuşmacılı senaryolar, mikrofon dizisi desteği ve yankı giderme eklemeyi planlıyor.