World Labs展示机器人如何无需真实训练数据学习复杂任务

World Labs发布了其R2S2R引擎的首批成果，该引擎能够将真实机器人任务转化为仿真环境，从而无需昂贵的硬件实测即可训练和评估控制模型。这项技术源自SceniX，该公司于今年7月被World Labs收购。该引擎分两步运作：首先，它记录机器人、传感器、环境及任务演示，重建一个交互式虚拟世界，其物理行为与真实世界一致。从一个真实任务出发，它能生成数千种光照、物体位置、物理特性和相机视角的变体。随后，控制模型在仿真中训练并迁移至真实机器人。测试在ALOHA平台及另外四个机器人平台上进行，模型在无人干预的情况下运行了一个小时。示例包括电缆布线、将弹性电缆末端插入孔中以及双手装箱。该系统与模型无关，可复用于新模型和新机器人。World Labs指出，机器人技术的发展滞后于语言模型，原因在于评估依赖于真实世界测试；一个稳健的仿真必须能够回答关于模型失败和改进的相同问题。他们通过双手立方体转移任务进行了测试，仿真复现了边缘情况和失败情形。在每次检查点进行2000次仿真和100次真实运行的情况下，各模型（包括GR00T N1.6和π₀.₅）在仿真与真实世界中的排名保持相似。这使得弱模型得以在仿真中被筛除，从而将真实硬件测试留给有前景的候选模型。World Labs将仿真器定位为其世界模型分类体系的核心，并引用了与自动驾驶的相似性。长期目标在于扩展机器人学习所依托的世界。World Labs由李飞飞创立于2024年，已筹集了十亿美元的 venture capital。R2S2R引擎是其在机器人领域的首个具体应用。这项研究为机器人领域关于世界模型的讨论做出了贡献，将世界模型与视频生成器区分开来，并与世界动作模型及中国的Orca等其他方法形成对比。