FFASR-leaderboard gelanceerd — een benchmark voor het evalueren van ASR in realistische akoestische omstandigheden

Treble Technologies en Hugging Face hebben de FFASR Leaderboard geïntroduceerd, de eerste open en door de gemeenschap ondersteunde benchmark voor het evalueren van automatische spraakherkenningsmodellen (ASR) in realistische omstandigheden met verre velden en akoestisch complexe omgevingen: nagalm, ruis en microfoonafstand. De benchmark maakt gebruik van de hybride simulator van Treble, die een golfoplosser voor lage en middenfrequenties combineert met geometrische akoestiek voor hoge frequenties, waardoor fysieke verschijnselen in 14 verschillende ruimtes met een volume van 20 tot 470 kubieke meter nauwkeurig worden gemodelleerd. Evaluatie vindt plaats op basis van negen condities, waarvan er vier de hoofdranglijst vormen, en omvat ook tracks voor validatie van simulatie (Lab Measured en Lab Simulated) en een bètaversie met een bewegende geluidsbron. Voor elke inzending worden de Word Error Rate (WER) voor negen condities en de RTFx (audio-seconden per seconde inferentie) op een NVIDIA L4 GPU vastgelegd. De resultaten van alle ingestuurde modellen laten een aanhoudende kloof zien: de WER in het verre veld bij een lage signaal-ruisverhouding is meerdere malen hoger dan in het nabije veld, en de visualisatie van de Pareto-front toont duidelijk de afweging tussen nauwkeurigheid en snelheid. De benchmark ondersteunt architecturen zoals Whisper, IBM Granite Speech, Cohere Transcribe, Wav2Vec2, HuBERT, SpeechBrain en andere via de Hub, en voor complexe stacks kan men een eigen evaluator maken. De ontwikkelaars zijn van plan om scenario's met meerdere sprekers, ondersteuning voor microfoonarrays en echo-onderdrukking toe te voegen.