Kimi K3：月之暗面开源2.8万亿参数模型权重

7月27日，月之暗面（Moonshot AI）发布了Kimi K3的模型权重。这是一款2.8万亿参数的MoE模型，拥有896个专家（每个token激活16个，约500亿活跃参数）和100万token的上下文窗口。它在Artificial Analysis指数上获得57分，总排名第四，在开源模型中排名第一，超过了GLM-5.2（51分）和DeepSeek V4 Pro（44分）。它还在LMArena前端代码竞技场（Frontend Code Arena）中位居榜首，在76%的盲测中击败了Claude Fable 5。该架构采用了Kimi Delta注意力（Kimi Delta Attention）和注意力残差（Attention Residuals），据公司内部报告称，其扩展效率比K2提升了2.5倍。即使在MXFP4量化下，权重也占用约1.4TB，需要多GPU服务器配置。月之暗面还开源了FlashKDA（用于注意力的CUDA内核）、MoonEP（专家并行库）和AgentENV（用于智能体训练的沙盒环境）。许可证为自定义许可证，要求月活跃用户超过1亿或月收入超过2000万美元的产品展示品牌，并且MaaS提供商需要另行签订协议。Together AI、Fireworks、DigitalOcean、Nebius、Baseten、Modal和vLLM已宣布提供支持。API定价为每百万输入token 3美元，每百万输出token 15美元，缓存输入每百万token 0.30美元。