ロシア語ITディクテーション用ASRモデル23種のベンチマーク：私の3月のおすすめは時代遅れでした

3月に、著者はロシア語ITディクテーション用にWhisper Large v3を推奨していましたが、その後、台湾華語向けに最適化されコードスイッチングに対応したモデルであるBreeze ASRを発見し、少なくとも同じ性能であることがわかりました。これを検証するため、厳密なベンチマークを構築しました。ロシア語・英語のITコーパスを用い、60以上の構成で23モデル、10万回以上の実行、RTX 5070 Ti上で120時間以上の推論を行いました。コーパスは、著者とその妻の2名の話者が、英語のIT用語がさまざまな密度で含まれる長文を読み上げたものです。複合指標Q（0.65 WER + 0.10句読点 + 0.25 EPI）は、単語精度、句読点品質、英語用語のラテン文字表記の保持のバランスを取ります。WERは音訳をペナルティしないように正規化され、EPIは正規の英語形式を報酬とし、不完全なラテン文字保持にも部分的な点数を与えます。結果は、このベンチマークでBreeze ASRがWhisper Large v3を上回り、3月の推奨が時代遅れになったことを示しています。著者はまた、複数の句読点プロンプトをテストし、カスタムプロンプトが句読点を大幅に改善することを発見しました。インタラクティブなベンチマークページでは、さまざまなディクテーションシナリオに合わせて重みを調整できます。