إطلاق لوحة متصدرين FFASR: معيار لتقييم التعرف التلقائي على الكلام في ظروف صوتية حقيقية

أنشأته كل من Hugging Face وTreble Technologies، يُعد FFASR Leaderboard أول معيار مفتوح يقوده المجتمع لتقييم نماذج التعرف الآلي على الكلام (ASR) في ظل ظروف صوتية واقعية في المجال البعيد. يعالج هذا القائد الفجوة المستمرة بين أداء المعايير والنشر في العالم الحقيقي، حيث تنخفض أداء النماذج التي تحقق نتائج جيدة في معايير المجال القريب القياسية بشكل كبير تحت تأثير الصدى والضوضاء الخلفية وبُعد الميكروفون. يُقيّم القائد النماذج عبر تسعة ظروف، تحدد أربعة منها درجة التصنيف الأساسية. تُولد البيانات الصوتية باستخدام محرك المحاكاة الهجين من Treble، الذي يجمع بين النمذجة القائمة على الموجات والصوتيات الهندسية لالتقاط ظواهر مثل الحيود والتداخل. يتضمن ذلك أربعة عشر غرفة مفروشة بالكامل، تتراوح أحجامها من 20 إلى 470 مترًا مكعبًا. إلى جانب معدل خطأ الكلمات (WER)، يُبلغ القائد عن RTFx (عدد الثواني الصوتية في الثانية من الاستدلال) لكل تقديم، ويُقيّم على معالج NVIDIA L4 GPU. تُظهر النتائج الأولية أن معدل خطأ الكلمات في المجال البعيد عند نسبة إشارة إلى ضوضاء منخفضة (low SNR) يزيد بعدة مرات عن معدل خطأ الكلمات في المجال القريب. يدعم القائد متغيرات Whisper وIBM Granite Speech وCohere Transcribe وWav2Vec2 وHuBERT وSpeechBrain ومعظم بنى ASR الأخرى عبر إرسال معرف النموذج من Hugging Face. يتيح خيار المُقيّم المخصص استخدام مجموعات استدلال أكثر تعقيدًا. تتضمن الخطط المستقبلية سيناريوهات متعددة المتحدثين، وتقييم مصفوفة الميكروفونات، وإلغاء الصدى.