Simulation for Physical AI: A Review

Основная проблема создания систем физического ИИ — доступность данных. В отличие от больших языковых моделей (LLM) и моделей зрения-языка (VLM), обучаемых на интернет-данных, роботам нужно учиться последствиям взаимодействия с физическим миром (например, скольжение чашки, изгиб кабеля, контакт захвата с объектом). Сбор таких данных в реальном мире медленен, дорог и опасен. Симуляция решает эту проблему, позволяя генерировать тысячи часов опыта робота при помощи GPU-параллелизма. Сегодня симуляция стала частью цикла разработки моделей: используется для создания перцептивных датасетов, обучения с подкреплением (RL), сбора демонстраций, дополнения реальных данных, бенчмаркинга и тестирования в редких сценариях. Движки симуляции различаются по поддержке RL, пакетной симуляции, физики контактов, фотореалистичного рендеринга и симуляции сенсоров. Среди популярных движков: MuJoCo (точная динамика многозвенных систем), MuJoCo Warp (GPU-ускоренная версия для RL), NVIDIA Isaac Sim (высокоточная физика PhysX, RTX-рендеринг, симуляция сенсоров, работа с OpenUSD) и Isaac Lab (лёгкая многобекендная среда для обучения роботов с поддержкой RL и имитационного обучения). Современные фреймворки симуляции роботов используют GPU-ускоренную численную физику. Для обеспечения скорости, стабильности и масштабируемости создан движок Newton — открытый, GPU-ускоренный, расширяемый и дифференцируемый физический движок от NVIDIA, Google DeepMind и Disney Research. Newton интегрирует MuJoCo Warp как ключевой физический бекенд, предоставляет несколько решателей (SolverMuJoCo, SolverFeatherstone, SolverSemiImplicit, SolverXPBD, SolverKamino, SolverVBD, SolverImplicitMPM, SolverStyle3D) для разных типов задач. В Isaac Lab Newton является активным направлением интеграции, с фокусом на высокопроизводительные эксперименты. Другие движки (PyBullet, DART, ODE, Drake) остаются нишевыми. Авторы отмечают, что симуляция стала ключевым уровнем в стеке современного воплощённого ИИ, и значительная часть инфраструктуры развивается в открытом исходном коде.