英伟达Cosmos 3：开放世界模型作为物理AI的基础

NVIDIA发布了Cosmos 3，这是一个前沿的开源物理AI基础全能模型，基于混合变换器架构构建，结合了视觉推理、世界生成和动作预测，使开发者能够使用同一模型系列进行场景理解、合成数据生成、未来状态模拟以及构建专门的世界动作模型。该系列包括Cosmos 3 Super（64B），用于高保真世界建模；Cosmos 3 Nano（16B），用于高效推理和后期训练；以及Cosmos 3 Edge（4B），用于设备端视觉推理和机器人策略部署，可在NVIDIA RTX GPU、DGX系统和Jetson平台上部署。根据基准测试，Cosmos 3在Artificial Analysis的开放权重文生图和图生视频生成中排名第一，在PAI-Bench的世界生成中排名第一，在Physics-IQ的图像生成视频类别中排名第一，在机器人策略方面，它在RoboLab上排名第一，而Cosmos 3 Super是VANTAGE-Bench上视觉理解排名最高的开放模型。NVIDIA Cosmos世界基础模型在Linux基金会的OpenMDW 1.1许可下提供，使团队能够在自己的数据和硬件上对模型进行后期训练。NVIDIA的物理AI技术栈还包括用于机器人的Isaac GR00T、用于自动驾驶汽车的Alpamayo和用于视觉AI的Metropolis。斗山机器人、LG电子、三星电子、Skild AI、理想汽车、小米、Afari、Centific、Fogsphere、Linker Vision、Milestone Systems和Yuan等公司正在基于NVIDIA Cosmos构建物理AI应用。最近扩展到日本的NVIDIA Cosmos联盟汇集了世界模型构建者、AI开发者和物理AI领导者，共同贡献模型、研究和评估方法。