Состояние симуляции для физического ИИ: обзор

Основная проблема построения систем физического ИИ — доступность данных. В отличие от больших языковых моделей, роботам нужны данные о взаимодействии с физическим миром, сбор которых в реальности медленный, дорогой и рискованный. Симуляция позволяет генерировать фотореалистичные данные с использованием GPU-параллелизма. Современные симуляторы стали частью цикла разработки моделей. Выделяют три компьютера: тренировочный (GPU-кластер), симуляционный (GPU-рабочая станция с физикой и рендерингом RTX) и бортовой (edge-устройство, например NVIDIA Jetson AGX Thor). Для разных задач используются разные движки. MuJoCo — быстрый и точный open-source движок для робототехники и биомеханики, ориентированный на точную динамику. MuJoCo Warp (MJWarp) — GPU-ускоренная версия на NVIDIA Warp для пакетной симуляции и RL. NVIDIA Isaac Sim — открытый фреймворк на Omniverse с PhysX и RTX-рендерингом. Isaac Lab 3.0 — лёгкий мультибэкендный фреймворк для обучения роботов, отделённый от Isaac Sim. Newton — открытый GPU-ускоренный и дифференцируемый физический движок от NVIDIA, Google DeepMind и Disney Research под управлением Linux Foundation, построенный на NVIDIA Warp и OpenUSD, интегрирующий MuJoCo Warp. Newton предоставляет несколько решателей: SolverMuJoCo, SolverFeatherstone (обобщённые координаты), SolverSemiImplicit, SolverXPBD, SolverKamino (максимальные координаты), SolverVBD (твёрдые и мягкие тела), SolverImplicitMPM (частицы) и SolverStyle3D (ткань). PyBullet, DART, ODE и Drake имеют свои ниши, но не подходят для масштабной симуляции тысяч роботов на одном GPU. Симуляция становится основой стека воплощённого ИИ, и значительная часть инфраструктуры разрабатывается как открытое ПО, доступное любому владельцу потребительского GPU.