Kimi K3 在 PAC1 和 ECOM1 上的表现:204 项任务结果与失败分析
月之暗面于七月开源了 Kimi K3。该模型在两个 BitGN 基准测试(PAC1 和 ECOM1)的 204 个开放轨迹上进行了测试。结果显示,模型在简单检索和计算方面表现强劲,但在多文件原子操作、不可信输入检查以及长表格一致性方面频繁失败。
Moonshot AI
Habr — хаб ИИ28.07 · 07:03
月之暗面于七月开源了 Kimi K3。该模型在两个 BitGN 基准测试(PAC1 和 ECOM1)的 204 个开放轨迹上进行了测试。结果显示,模型在简单检索和计算方面表现强劲,但在多文件原子操作、不可信输入检查以及长表格一致性方面频繁失败。
Moonshot AI
Moonshot AI 发布了 Kimi K3 的开放权重,这是一个 2.8 万亿参数的 MoE 模型,同时发布了技术报告和三个内部工具。独立基准测试将其排在开放模型首位,在 Artificial Analysis 指数上获得 57 分,但由于 1.4 TB 的权重大小,实际部署需要多 GPU 服务器。
Moonshot AI
DeepSeek
Anthropic
OpenAI