Ming-Flash-Omni：全モダリティ統合モデルの主要技術と実践

蚂蚁集团的郭清佩在2026年北京QCon全球软件开发大会上，展示了明帆-Omni的技术架构与实践。这是一款参数规模达数千亿的全模态统一模型，将音频、视频、图像和文本的理解与生成任务整合在单一框架中。为应对模态统一，团队设计了一种多路由器机制来处理模态特定的专家路由，以及AnyExperts，它根据令牌重要性动态分配专家，减少了图像和视频令牌中的冗余。他们还引入了一种协同训练策略，包括数据比例规划以及基于收敛速度的动态学习率调整。对于任务统一，他们基于冻结的多模态理解骨干，增加了图像生成和语音合成能力，并通过生成式分割训练补充细粒度的视觉知识，采用双流信息方法来保持身份，并单独提取排版特征以避免乱码。语音生成增强了方言、情感和自定义音色控制，并能同时生成语音、声音和音乐。该模型在多种模态上取得了最先进的结果，与专用模型相当或超越，是首个开源千亿参数全模态统一模型。工程优化包括全模态序列打包方案和灵活的并行策略，将训练效率提升了67%。团队还通过开源项目明Tok和明Tok-音频探索了表示层统一，展示了图像和音频理解与生成的统一框架。