État de la simulation pour l'IA physique : un aperçu

Le défi principal de l'IA physique réside dans la disponibilité des données, car les robots ne peuvent pas exploiter les ensembles de données à l'échelle d'Internet comme les LLM. La simulation comble cette lacune en générant de grandes quantités de données photoréalistes et physiquement fondées à faible coût. Les simulateurs modernes sont désormais intégrés dans la boucle de développement des modèles pour des tâches telles que la génération d'ensembles de données de perception, l'entraînement par apprentissage par renforcement, l'évaluation des politiques et le transfert sim-vers-réel. Les moteurs clés incluent MuJoCo, qui se concentre sur la dynamique précise et les mouvements riches en contacts ; MuJoCo Warp, une variante accélérée par GPU pour la simulation par lots ; NVIDIA Isaac Sim, un cadre basé sur Omniverse pour une physique et un rendu haute fidélité ; et Isaac Lab, un cadre d'apprentissage robotique léger et multi-backend. Le moteur physique Newton, développé par NVIDIA, Google DeepMind et Disney Research, est open-source et accéléré par GPU, offrant plusieurs solveurs pour différents systèmes physiques. Newton est intégré dans Isaac Lab et prend en charge MuJoCo Warp en tant que backend. L'écosystème se fragmente en une pile en couches avec une infrastructure partagée, dont une grande partie est open-source.