Benchmark von 23 ASR-Modellen für russische IT-Diktate: Meine März-Empfehlung ist veraltet
OpenAI
Ein Entwickler hat Sprach-zu-Text-Modelle für russische IT-Diktate neu bewertet und 23 ASR-Modelle in über 60 Konfigurationen mit 100.000 Läufen getestet. Dabei stellte sich heraus, dass Breeze ASR, ein unerwarteter Fund, Whisper Large v3 erreicht oder übertrifft, was zu einer aktualisierten Empfehlung führt. Der Benchmark führt eine zusammengesetzte Metrik Q ein, die WER, Interpunktionsgenauigkeit und einen neuen English Preservation Index (EPI) kombiniert, um Modelle zu belohnen, die englische Begriffe in lateinischer Schrift beibehalten.
Im März empfahl der Autor Whisper Large v3 für russische IT-Diktate, entdeckte jedoch später Breeze ASR, ein für taiwanesisches Mandarin mit Code-Switching-Unterstützung optimiertes Modell, das mindestens gleichwertig abschnitt. Um dies zu verifizieren, erstellte er einen rigorosen Benchmark: 23 Modelle in über 60 Konfigurationen, mehr als 100.000 Läufe auf einem russisch-englischen IT-Korpus, mit über 120 Stunden Inferenz auf einer RTX 5070 Ti. Das Korpus umfasst zwei Sprecher (den Autor und seine Frau), die längere Texte mit unterschiedlicher Dichte an englischen IT-Begriffen lesen. Die zusammengesetzte Metrik Q (0,65 WER + 0,10 Interpunktion + 0,25 EPI) balanciert Wortgenauigkeit, Interpunktionsqualität und die Erhaltung englischer Begriffe in lateinischer Schrift. WER ist normalisiert, um Transliterationen nicht zu bestrafen, während EPI kanonische englische Formen belohnt und teilweise Anerkennung für unvollständige lateinische Erhaltung gewährt. Die Ergebnisse zeigen, dass Breeze ASR bei diesem Benchmark besser abschneidet als Whisper Large v3, was die März-Empfehlung veraltet macht. Der Autor testete auch mehrere Interpunktions-Prompts und fand heraus, dass ein benutzerdefinierter Prompt die Interpunktion erheblich verbessert. Die interaktive Benchmark-Seite erlaubt es, die Gewichte anzupassen, um verschiedenen Diktatszenarien gerecht zu werden.
Quelle: Habr — хаб ML —
Original