Simulation pour l'IA physique : une revue

Le principal problème de la création de systèmes d'IA physique est la disponibilité des données. Contrairement aux grands modèles de langage (LLM) et aux modèles vision-langage (VLM), entraînés sur des données internet, les robots doivent apprendre les conséquences de leurs interactions avec le monde physique (par exemple, glissement d'une tasse, flexion d'un câble, contact d'une pince avec un objet). La collecte de ces données dans le monde réel est lente, coûteuse et dangereuse. La simulation résout ce problème en permettant de générer des milliers d'heures d'expérience robotique grâce au parallélisme GPU. Aujourd'hui, la simulation fait partie intégrante du cycle de développement des modèles : elle est utilisée pour créer des ensembles de données perceptuelles, l'apprentissage par renforcement (RL), la collecte de démonstrations, l'augmentation de données réelles, l'évaluation comparative et les tests dans des scénarios rares. Les moteurs de simulation diffèrent par leur prise en charge du RL, de la simulation par lots, de la physique des contacts, du rendu photoréaliste et de la simulation de capteurs. Parmi les moteurs populaires : MuJoCo (dynamique précise des systèmes multi-corps), MuJoCo Warp (version accélérée par GPU pour le RL), NVIDIA Isaac Sim (physique PhysX haute fidélité, rendu RTX, simulation de capteurs, compatibilité OpenUSD) et Isaac Lab (environnement multi-backend léger pour l'apprentissage robotique avec support du RL et de l'apprentissage par imitation). Les frameworks modernes de simulation robotique utilisent la physique numérique accélérée par GPU. Pour garantir vitesse, stabilité et évolutivité, le moteur Newton a été créé — un moteur physique open source, accéléré par GPU, extensible et différentiable, développé par NVIDIA, Google DeepMind et Disney Research. Newton intègre MuJoCo Warp comme backend physique clé et propose plusieurs solveurs (SolverMuJoCo, SolverFeatherstone, SolverSemiImplicit, SolverXPBD, SolverKamino, SolverVBD, SolverImplicitMPM, SolverStyle3D) pour différents types de tâches. Dans Isaac Lab, Newton est un axe d'intégration actif, avec un accent sur les expériences haute performance. D'autres moteurs (PyBullet, DART, ODE, Drake) restent de niche. Les auteurs notent que la simulation est devenue un niveau clé dans la pile de l'IA incarnée moderne, et qu'une part significative de l'infrastructure se développe en open source.