Kimi K3 开源：Anthropic 终于亮出底牌

月之暗面开源了Kimi K3模型，其基准测试性能可与Anthropic的Claude Sonnet 4相媲美。开源内容包括模型权重和技术报告。报告透露，Anthropic采用了扩大版的Chinchilla最优比例，支持更大的批量大小和更高的学习率，从而实现更高效的训练。Kimi K3基于专家混合（MoE）架构，共有48个专家，每个词元激活2个专家，总参数2640亿，其中激活参数370亿。该模型专为扩展和效率而设计，支持128K上下文长度和FP8混合精度训练。Kimi K3的开源被视为推动先进AI普及并挑战Anthropic和OpenAI等既有玩家的举措。