Der Stand der Simulation für physikalische KI: Ein Überblick

Die Hauptherausforderung in der physischen KI ist die Datenverfügbarkeit, da Roboter nicht auf Internet-große Datensätze wie große Sprachmodelle (large language models, LLMs) zurückgreifen können. Simulation überbrückt diese Lücke, indem sie große Mengen fotorealistischer, physikalisch fundierter Daten zu geringen Kosten erzeugt. Moderne Simulatoren sind heute in den Modellentwicklungsprozess integriert, unter anderem für die Erzeugung von Wahrnehmungsdatensätzen, Reinforcement-Learning-(RL-)Training, Policy-Evaluierung und Sim-to-Real-Transfer. Zu den wichtigsten Engines gehören MuJoCo, das sich auf präzise Dynamik und kontaktreiche Bewegungen konzentriert; MuJoCo Warp, eine GPU-beschleunigte Variante für stapelweise Simulationen; NVIDIA Isaac Sim, ein auf Omniverse basierendes Framework für hochgenaue Physik und Rendering; sowie Isaac Lab, ein leichtgewichtiges Multi-Backend-Roboter-Lern-Framework. Die Newton-Physik-Engine, entwickelt von NVIDIA, Google DeepMind und Disney Research, ist quelloffen und GPU-beschleunigt und bietet mehrere Löser für verschiedene physikalische Systeme. Newton ist in Isaac Lab integriert und unterstützt MuJoCo Warp als Backend. Das Ökosystem fragmentiert sich zunehmend in einen geschichteten Stack mit gemeinsamer Infrastruktur, von der vieles quelloffen ist.