ワールド・ラボ、実データなしでロボットが複雑なタスクを学習する手法を披露

World Labsは、実ロボットタスクをシミュレーションに変換し、高価な実機試行なしで制御モデルの訓練と評価を行うエンジン「R2S2R」の最初の成果を発表した。この技術は、7月にWorld Labsが買収したSceniXによるものである。このエンジンは2段階で動作する。まず、ロボット、センサー、環境、タスクのデモンストレーションを記録し、元の環境と物理的に同様に動作するインタラクティブな仮想世界を再構築する。単一の実タスクから、照明、物体位置、物理特性、カメラ視点の数千のバリエーションを生成する。次に、制御モデルをシミュレーションで訓練し、実ロボットに移行する。テストはALOHAプラットフォームと他の4つのロボットプラットフォームで実施され、モデルは人間の介入なしで1時間稼働した。例には、ケーブル配線、弾性ケーブルの端を穴に挿入する作業、両手での箱詰めが含まれる。このシステムはモデル非依存であり、新しいモデルやロボットに再利用できる。World Labsは、ロボット開発が言語モデルに遅れを取っているのは、評価が実世界テストに依存しているためだと主張する。堅牢なシミュレーションは、モデルの失敗と改善に関する同じ質問に答えなければならない。彼らは両手でのキューブ転送タスクでテストし、シミュレーションはエッジケースと失敗を再現した。モデル（GR00T N1.6やπ₀.₅を含む）のランキングは、チェックポイントあたり2000回のシミュレーションと100回の実世界の実行で、シミュレーションと実世界の間で同様に保たれた。これにより、弱いバージョンをシミュレーションで選別し、有望な候補だけに実ハードウェアテストを残すことができる。World Labsは、シミュレーターをそのワールドモデルの分類法の中心に位置づけ、自動運転との類似点を挙げている。長期的な目標は、ロボットが学ぶ世界をスケールすることである。2024年に李飛飛氏によって設立されたWorld Labsは、ベンチャーキャピタルから10億ドルを調達している。R2S2Rエンジンは、ロボティクスにおける最初の具体的な応用である。この研究は、ロボティクスにおけるワールドモデルの議論に貢献し、ビデオジェネレーターと区別し、World Action Modelsや中国のOrcaといった他のアプローチと対比している。