Mistral AI推出Robostral Navigate：仅用单个RGB摄像头实现机器人导航的模型

Mistral AI 发布了其首个为具身导航构建的模型 Robostral Navigate。这款 8B 参数模型利用 RGB 图像和自然语言指令引导机器人在环境中移动。与使用深度传感器、激光雷达（LiDAR）或多摄像头的其他模型不同，Robostral Navigate 仅依靠单个普通 RGB 摄像头且无深度传感器运行，在连续环境中的房间到房间（R2R-CE）验证集的未见环境中达到了 76.6% 的准确率。这比最佳单摄像头方法高出 9.7 个百分点，比使用深度或多摄像头的最佳系统高出 4.5 个百分点。该模型完全内部构建，使用模拟数据和令牌高效技术，并适用于轮式、腿式和飞行机器人。它采用基于指向的导航方法，预测目标位置的图像坐标，当目标不在视野内时则退回到局部坐标框架的位移。通过前缀缓存实现了训练效率提升，将训练令牌减少了 22 倍；结合 CISPO 的在线强化学习进一步将成功率提高了 3.2%。