Simulation for Physical AI: A Review

Masalah utama dalam menciptakan sistem AI fisik adalah ketersediaan data. Tidak seperti model bahasa besar (LLM) dan model visi-bahasa (VLM) yang dilatih menggunakan data internet, robot perlu mempelajari konsekuensi interaksi dengan dunia fisik (misalnya, cangkir yang tergelincir, kabel yang tertekuk, kontak gripper dengan objek). Pengumpulan data semacam itu di dunia nyata lambat, mahal, dan berbahaya. Simulasi memecahkan masalah ini dengan memungkinkan pembangkitan ribuan jam pengalaman robot menggunakan paralelisme unit pemrosesan grafis (GPU). Saat ini, simulasi telah menjadi bagian dari siklus pengembangan model: digunakan untuk membuat kumpulan data perseptual, pembelajaran penguatan (RL), pengumpulan demonstrasi, augmentasi data nyata, pembuatan tolok ukur, dan pengujian dalam skenario langka. Mesin simulasi berbeda dalam dukungannya terhadap RL, simulasi batch, fisika kontak, rendering fotorealistik, dan simulasi sensor. Di antara mesin populer: MuJoCo (dinamika presisi untuk sistem multirangkaian), MuJoCo Warp (versi dipercepat GPU untuk RL), NVIDIA Isaac Sim (fisika PhysX presisi tinggi, rendering RTX, simulasi sensor, bekerja dengan OpenUSD), dan Isaac Lab (lingkungan multibackend ringan untuk pembelajaran robot yang mendukung RL dan pembelajaran imitasi). Kerangka kerja simulasi robot modern menggunakan fisika numerik yang dipercepat GPU. Untuk memastikan kecepatan, stabilitas, dan skalabilitas, dibuatlah mesin Newton — mesin fisika sumber terbuka, dipercepat GPU, dapat diperluas, dan terdiferensiasi dari NVIDIA, Google DeepMind, dan Disney Research. Newton mengintegrasikan MuJoCo Warp sebagai backend fisika utama, menyediakan beberapa pemecah (SolverMuJoCo, SolverFeatherstone, SolverSemiImplicit, SolverXPBD, SolverKamino, SolverVBD, SolverImplicitMPM, SolverStyle3D) untuk berbagai jenis tugas. Di Isaac Lab, Newton merupakan arah integrasi aktif, dengan fokus pada eksperimen berkinerja tinggi. Mesin lain (PyBullet, DART, ODE, Drake) tetap bersifat khusus. Penulis mencatat bahwa simulasi telah menjadi lapisan kunci dalam tumpukan AI yang diwujudkan saat ini, dan sebagian besar infrastruktur dikembangkan sebagai sumber terbuka.