Moonshot AI 开源热门模型 Kimi-K3 权重——性能接近市场领先者，运行却简单得多

Moonshot AI已免费发布其Kimi-K3模型的权重，任何拥有足够算力的人都可以在本地运行该模型。该模型性能显著超越前几代的OpenAI GPT和Anthropic Claude，仅略逊于最新的Sol和Fable模型。Kimi-K3的运营成本比美国同类模型低2到3倍，且在编程任务中若命中缓存，成本可降至每百万token0.30美元，而标准输入定价为3美元。其效率可能源于采用MXFP4存储权重和MXFP8处理激活，这两种低精度格式可节省内存。在2.8万亿参数中，只有1042亿个参数同时激活。该模型旨在英伟达H20加速器上运行，虽H20缺乏原生MX浮点支持，但在Blackwell芯片上可能运行得更高效。Kimi-K3用固定大小的状态处理器（称为Kimi Delta Attention）替代了键值缓存，并采用混合专家模型（MoE），仅激活896个专家中的16个。不过，目前仅开放权重；训练过程和数据集仍为专有。