World Labs montre comment les robots apprennent des tâches complexes sans données d'entraînement réelles

World Labs a publié les premiers résultats de son moteur R2S2R, qui convertit des tâches robotiques réelles en simulations pour entraîner et évaluer des modèles de contrôle sans avoir recours à des essais matériels coûteux. Cette technologie provient de SceniX, acquise par World Labs en juillet. Le moteur fonctionne en deux étapes : d'abord, il enregistre les robots, les capteurs, l'environnement et les démonstrations de tâches pour reconstruire un monde virtuel interactif qui se comporte physiquement comme l'original. À partir d'une seule tâche réelle, il génère des milliers de variations d'éclairage, de positions d'objets, de propriétés physiques et de perspectives de caméra. Ensuite, les modèles de contrôle sont entraînés en simulation et transférés vers de vrais robots. Les tests ont été menés sur la plateforme ALOHA et quatre autres plateformes robotiques, où les modèles ont fonctionné pendant une heure sans intervention humaine. Les exemples incluent le routage de câbles, l'insertion d'une extrémité de câble élastique dans un trou et l'emballage de boîtes à deux mains. Le système est indépendant du modèle et peut être réutilisé pour de nouveaux modèles et robots. World Labs fait valoir que le développement des robots est en retard par rapport aux modèles de langage parce que l'évaluation est liée à des tests dans le monde réel ; une simulation robuste doit répondre aux mêmes questions sur les échecs et les améliorations des modèles. Ils ont testé avec une tâche de transfert de cube à deux mains, où la simulation a reproduit des cas limites et des échecs. Le classement des modèles (y compris GR00T N1.6 et π₀.₅) est resté similaire entre la simulation et le monde réel, avec 2 000 simulations et 100 exécutions réelles par point de contrôle. Cela permet de filtrer les versions faibles en simulation, économisant les tests matériels réels pour les candidats prometteurs. World Labs positionne le simulateur comme central dans sa taxonomie des modèles du monde, en citant des parallèles avec la conduite autonome. L'objectif à long terme est de faire évoluer les mondes dans lesquels les robots apprennent. World Labs, fondée en 2024 par Fei-Fei Li, a levé un milliard de dollars en capital-risque. Le moteur R2S2R est la première application concrète en robotique. La recherche contribue au débat sur les modèles du monde en robotique, en les distinguant des générateurs de vidéos et en les comparant à d'autres approches comme les modèles d'action mondiaux et l'Orca de la Chine.