FFASR Leaderboard Launched — a Benchmark for Evaluating ASR in Real Acoustic Conditions

Treble Technologies और Hugging Face ने FFASR लीडरबोर्ड पेश किया है - यह पहला खुला और समुदाय-संचालित बेंचमार्क है, जो ध्वनिक रूप से जटिल वातावरण (रिवर्बरेशन, शोर और माइक्रोफोन की दूरी) में रियलिस्टिक फ़ार-फ़ील्ड परिस्थितियों में ASR मॉडल का मूल्यांकन करता है। यह बेंचमार्क Treble के हाइब्रिड सिम्युलेटर का उपयोग करता है, जो निम्न और मध्यम आवृत्तियों के लिए वेव सॉल्वर को उच्च आवृत्तियों के लिए ज्यामितीय ध्वनिकी के साथ जोड़ता है, जिससे 20 से 470 m³ आकार के 14 विभिन्न कमरों में भौतिक घटनाओं का सटीक मॉडलिंग संभव होता है। मूल्यांकन नौ स्थितियों पर किया जाता है, जिनमें से चार मुख्य रैंकिंग बनाते हैं, और इसमें सिमुलेशन सत्यापन के लिए ट्रैक (Lab Measured और Lab Simulated) और एक बीटा संस्करण (चलती ध्वनि स्रोत के साथ) शामिल है। प्रत्येक सबमिशन के लिए, नौ स्थितियों के लिए Word Error Rate (WER) और NVIDIA L4 GPU पर RTFx (ऑडियो सेकंड प्रति इन्फ़रेंस सेकंड) निर्धारित किया जाता है। सभी सबमिट किए गए मॉडलों के परिणाम एक स्थिर अंतर दिखाते हैं: कम SNR वाले फ़ार-फ़ील्ड में WER नियर-फ़ील्ड की तुलना में कई गुना अधिक होता है, और पेरेटो फ़्रंट का विज़ुअलाइज़ेशन सटीकता और गति के बीच ट्रेड-ऑफ़ को स्पष्ट रूप से प्रदर्शित करता है। बेंचमार्क Hub के माध्यम से Whisper, IBM Granite Speech, Cohere Transcribe, Wav2Vec2, HuBERT, SpeechBrain और अन्य आर्किटेक्चर का समर्थन करता है, और जटिल स्टैक के लिए आप अपना स्वयं का मूल्यांकनकर्ता बना सकते हैं। डेवलपर्स कई स्पीकर वाले परिदृश्य, माइक्रोफोन ऐरे सपोर्ट और इको कैंसलेशन जोड़ने की योजना बना रहे हैं।