Tolok Ukur 23 Model ASR untuk Dikte IT Bahasa Rusia: Rekomendasi Maret Saya Sudah Usang
OpenAI
Seorang pengembang mengevaluasi ulang model ubah-suara-ke-teks untuk dikte IT bahasa Rusia, menguji 23 model ASR dalam lebih dari 60 konfigurasi dengan 100.000 kali percobaan. Mereka menemukan bahwa Breeze ASR, temuan tak terduga, setara atau melebihi Whisper Large v3, yang mengarah pada rekomendasi yang diperbarui. Tolok ukur ini memperkenalkan metrik gabungan Q, yang menggabungkan WER, akurasi tanda baca, dan Indeks Pelestarian Bahasa Inggris (EPI) yang baru untuk memberi penghargaan pada model yang menjaga istilah Inggris dalam huruf Latin.
Pada bulan Maret, penulis merekomendasikan Whisper Large v3 untuk dikte TI dalam bahasa Rusia, tetapi kemudian menemukan Breeze ASR, sebuah model yang dioptimalkan untuk bahasa Mandarin Taiwan dengan dukungan code-switching, yang kinerjanya setidaknya sama baiknya. Untuk memverifikasi, mereka membangun tolok ukur yang ketat: 23 model dalam lebih dari 60 konfigurasi, lebih dari 100.000 kali proses pada korpus TI Rusia-Inggris, menggunakan lebih dari 120 jam inferensi pada RTX 5070 Ti. Korpus ini mencakup dua pembicara (penulis dan istrinya) yang membaca teks panjang dengan kepadatan bervariasi istilah TI dalam bahasa Inggris. Metrik gabungan Q (0,65 WER + 0,10 tanda baca + 0,25 EPI) menyeimbangkan akurasi kata, kualitas tanda baca, dan pelestarian istilah Inggris dalam huruf Latin. WER dinormalisasi agar tidak menghukum transliterasi, sementara EPI memberi penghargaan pada bentuk Inggris kanonik dan memberikan kredit parsial untuk retensi huruf Latin yang tidak sempurna. Hasilnya menunjukkan bahwa Breeze ASR mengungguli Whisper Large v3 pada tolok ukur ini, sehingga rekomendasi bulan Maret menjadi usang. Penulis juga menguji beberapa prompt tanda baca dan menemukan bahwa prompt khusus secara signifikan meningkatkan tanda baca. Halaman tolok ukur interaktif memungkinkan penyesuaian bobot agar sesuai dengan berbagai skenario dikte.
Sumber: Habr — хаб ML —
asli