模型开源 🇺🇸 24.07.2026 00:05

2026年最佳开源ASR模型:词错误率、语种、延迟与许可证对比

CohereCohere IBMIBM NVIDIANVIDIA Alibaba/QwenAlibaba/Qwen MistralMistral KyutaiKyutai MetaMeta OpenAIOpenAI
开源语音识别(ASR)市场已不再是Whisper一家独大:过去12个月中,涌现出许多具有竞争力的模型。开源ASR排行榜上的领先者在词错误率(WER)上相差不到一个百分点,因此决定性因素变成了许可证、语种覆盖、流式支持以及每小时的音频处理成本。本文详细比较了主要模型在这些参数上的表现,并提供了选择建议。
在过去12个月里,开源语音识别(ASR)市场已不再是Whisper一家独大。2026年3月,Cohere发布了Transcribe(20亿参数,Apache 2.0许可),以平均词错误率(WER)5.42%的成绩领跑Hugging Face上的Open ASR排行榜。五周后,IBM发布了Granite Speech 4.1 2B,成绩为5.33%,随后ARK-ASR-3B和MOSS-Transcribe-preview-2B也取得了更低的数值。现在,排名靠前的模型之间WER差距不到一个百分点,这使得排行榜不再是唯一的选型标准。许可证、语言覆盖、流式支持以及每小时音频的成本同样重要。文章指出,排行榜上的平均WER并非固定值:不同模型是在不同数据集上测试的。例如,Cohere Transcribe在包括TED-LIUM在内的八个英语测试集上得到5.42%,而ARK-ASR-3B在没有TED-LIUM的七个测试集上得到5.04%,这虚高了它的平均值。如果按那七个测试集重新计算,Cohere的WER将是5.84%,Granite Speech 4.1 2B则是5.65%。有些模型如MOSS-Transcribe-preview-2B,在排行榜的训练集上进行了强化学习微调,这虚高了它们的成绩。来自Appen的私有测试集改变了排名顺序:在其上,zoom/scribe_v1成为第一名。值得关注的模型包括:Cohere Transcribe——20亿参数,Apache 2.0许可,支持14种语言,月下载量超过62万次;Granite Speech 4.1 2B——Apache 2.0许可,6种语言,支持ASR加双向语音翻译,实时因子(RTFx)231.29;Canary-Qwen-2.5B——25亿参数,CC-BY-4.0许可,英语,WER 5.63%,RTFx 418;Qwen3-ASR-1.7B——Apache 2.0许可,52种语言和方言,WER 5.76%。在吞吐量方面领先的模型有:Parakeet TDT 0.6B v3(6亿参数,CC-BY-4.0许可,RTFx 3332.74,支持25种欧洲语言,WER 6.32%),Granite Speech 4.1 2B-NAR(非自回归版本,RTFx约1820),以及Qwen3-ASR-0.6B(支持52种语言,RTFx约2000)。流式处理方面:Voxtral Mini 4B Realtime 2602(Apache 2.0许可,13种语言,延迟从80毫秒起,可在16 GB GPU上运行)和Kyutai STT(CC-BY-4.0许可,英语/法语,延迟0.5秒,内置语义语音活动检测VAD)。Meta的Omnilingual ASR(Apache 2.0许可)原生支持1600多种语言,通过零样本学习可扩展到5400多种语言。Whisper large-v3(MIT许可,99种语言)仍然是追求最小许可证负担项目的最佳选择。研究新品方面:diffusion-gemma-asr-small(并行扩散去噪生成,4200万训练参数)和MOSS-Transcribe-Diarize 0.9B(Apache 2.0许可,50多种语言,一次前向传播同时完成识别和说话人分离)。许可证分类:Apache 2.0许可(Cohere Transcribe、Granite Speech、Qwen3-ASR、Voxtral Realtime、Omnilingual ASR、ARK-ASR、MOSS-Transcribe),MIT许可(Whisper large-v3),CC-BY-4.0许可(Canary-Qwen、Parakeet、Kyutai STT)。Meta使用混合许可:模型用Apache 2.0,语料库用CC-BY。建议按以下顺序选择模型:许可证、语言覆盖、流式或批处理模式,然后用自己的音频数据测量WER,并在自己的硬件上计算每小时音频成本。主要结论:现在,一个具有20亿参数、采用宽松许可证的开源模型已经超过了18个月前闭源API所能提供的水平,选择成为一个采购决策而非研究决策。
来源: MarkTechPost — 原文
我们之前关于此话题的帖子 ↓
最新新闻