3万時間の触覚データが身体化AIに触感を与える
NeoteAIと復旦大学は、N0シリーズの下で3つのレポートとモデルを公開しました。触覚フィードバックを身体化AIの核となる要素として統合することを目指しており、3万時間の触覚インタラクションデータセット、視覚言語行動モデルN0-VTLA、世界モデルN0-TWAMを含み、すべてオープンソース化されています。
NeoteAI（上海诺谛智能具身智能科技有限公司）与复旦大学可信具身智能研究院合作发布了N0系列模型的三篇技术报告。Neodata数据集包含超过3万小时的视觉-触觉交互数据、140万个动作片段、330亿个时间步、80亿个RGB帧以及100亿个触觉图像，这些数据由90名操作员在6个机器人平台（Franka、Piper、UR5e等）上采集，覆盖了450个长时域任务。N0-VTLA是一个触觉增强的视觉-语言-动作模型（VLA），能预测未来50步的触觉状态，在插头插入任务中成功率达到85%（纯视觉方法为60%），在钥匙抽取任务中达到99%（纯视觉方法为35%）。N0-TWAM是一个拥有72亿参数的世界模型，采用混合专家架构，能同时预测视频、触觉和动作序列；在仿真环境中的平均成功率为84.5%（基线为36%），在真实世界中的平均成功率为46.3%（LingBot-VA为21.9%）。该项目已在research.neoteai.com开源。
出典: QbitAI 量子位 —
原文