Yandex为智能音箱训练新快速指令，旧有质量不降
Яндекс
Yandex在其智能音箱中新增了快速指令（“喜欢”“不喜欢”“打开蓝牙”“关闭蓝牙”），且未降低现有指令的质量。模块化网络扩展方法复用了冻结基础模型的内部表示，使中央处理器使用率降低35%，随机存取内存减少50%，误激活率下降60%。
Yandex的智能音箱（如Station Street）支持快速指令——即“下一个”或“静音”这样的短句，无需唤醒词“Alice”即可本地执行。为了在不破坏旧指令的同时添加新指令，团队放弃了全面重新训练（存在性能倒退风险）、单独的小模型（低效且冗余）以及经典的持续学习方法如EWC（缺乏保证）。取而代之的是，他们采用了模块化网络扩展：从冻结的原始模型的某一层开始，一个并行分支提取激活值，计算一个小的加法向量，并在每一步将其拼接。这使得学习新指令的同时保留旧指令成为可能，且对内存和计算有完全的控制。训练分为两个阶段：在6000万到1亿条未经整理的ASR日志上进行预训练，并在40万到100万条干净的室内录音上进行微调。结果：CPU负载降低35%，RAM降低50%，误唤醒率下降60%。该工作发表于Interspeech 2026。
来源: Habr — хаб ML —
原文