Состояние симуляции для физического ИИ: обзор
NVIDIA
Google DeepMind
MuJoCo
Сбор данных для физического ИИ в реальном мире — медленный, дорогой и рискованный процесс. Симуляция позволяет генерировать большие объёмы фотореалистичных физических данных с помощью GPU-параллелизма. В статье рассмотрены популярные движки симуляции: MuJoCo, MuJoCo Warp, NVIDIA Isaac Sim и Isaac Lab, а также новый физический движок Newton, разработанный NVIDIA, Google DeepMind и Disney Research.
Основная проблема создания систем физического ИИ — доступность данных. В отличие от больших языковых моделей (LLM) и моделей зрения-языка (VLM), обучаемых на интернет-данных, роботам нужно учиться последствиям взаимодействия с физическим миром (например, скольжение чашки, изгиб кабеля, контакт захвата с объектом). Сбор таких данных в реальном мире медленен, дорог и опасен. Симуляция решает эту
Показать ещё ↓
- Сокращения
- LLM = Large Language Model — большая языковая модель
- VLM = Vision-Language Model — модель зрения-языка
- GPU = Graphics Processing Unit — графический процессор
- RL = Reinforcement Learning — обучение с подкреплением
- USD = Universal Scene Description — универсальное описание сцены
Источник: Hugging Face blog —
оригинал