FFASRリーダーボードが公開：実音響環境でのASR評価ベンチマーク

Hugging FaceとTreble Technologiesが作成したFFASRリーダーボードは、現実的な遠距離音響条件下でASRモデルを評価する初のオープンなコミュニティ駆動型ベンチマークです。標準的な近距離ベンチマークで高いスコアを出すモデルが、残響や背景ノイズ、マイク距離の影響下では著しく性能が低下するという、ベンチマーク性能と実世界での展開の間に存在する永続的なギャップに対処します。リーダーボードは9つの条件下でモデルを評価し、そのうち4つが主要なランキングスコアを決定します。音響データはTrebleのハイブリッドシミュレーションエンジンを使用して生成され、波動ベースと幾何音響モデリングを組み合わせて回折や干渉などの現象を捉えます。20～470立方メートルの14の完全に家具付きの部屋が含まれています。WER（単語誤り率）に加えて、リーダーボードはすべての提出についてRTFx（1推論秒あたりの音声秒数）を報告し、NVIDIA L4 GPUで評価されます。初期結果では、遠距離場の低SNR（信号対雑音比）におけるWERは、近距離場のWERの数倍高いことが示されています。リーダーボードはWhisperのバリアント、IBM Granite Speech、Cohere Transcribe、Wav2Vec2、HuBERT、SpeechBrain、およびHugging FaceモデルIDによる提出を介してその他のほとんどのASRアーキテクチャをサポートしています。カスタム評価器オプションにより、より複雑な推論スタックが可能です。将来の計画には、複数話者シナリオ、マイクアレイ評価、エコーキャンセレーションが含まれます。