World Labs Menunjukkan Bagaimana Robot Belajar Tugas Kompleks Tanpa Data Pelatihan Nyata

World Labs memublikasikan hasil pertama dari mesin R2S2R mereka, yang mengubah tugas robot nyata menjadi simulasi untuk melatih dan mengevaluasi model kontrol tanpa harus melakukan uji coba perangkat keras nyata yang mahal. Teknologi ini berasal dari SceniX, yang diakuisisi oleh World Labs pada bulan Juli. Mesin ini bekerja dalam dua tahap: pertama, merekam robot, sensor, lingkungan, dan demonstrasi tugas untuk merekonstruksi dunia virtual interaktif yang berperilaku fisik seperti aslinya. Dari satu tugas nyata, mesin ini menghasilkan ribuan variasi dalam pencahayaan, posisi objek, properti fisika, dan sudut pandang kamera. Kemudian, model kontrol dilatih dalam simulasi dan ditransfer ke robot nyata. Pengujian dilakukan pada platform ALOHA dan empat platform robot lainnya, di mana model berjalan selama satu jam tanpa intervensi manusia. Contohnya termasuk perutean kabel, memasukkan ujung kabel elastis ke dalam lubang, dan pengemasan kotak dengan dua tangan. Sistem ini agnostik terhadap model dan dapat digunakan kembali untuk model dan robot baru. World Labs berpendapat bahwa pengembangan robot tertinggal dari model bahasa karena evaluasi terikat pada pengujian dunia nyata; simulasi yang andal harus mampu menjawab pertanyaan yang sama tentang kegagalan dan peningkatan model. Mereka menguji dengan tugas transfer kubus dua tangan, di mana simulasi dapat mereproduksi kasus tepi dan kegagalan. Peringkat model (termasuk GR00T N1.6 dan π₀.₅) tetap serupa antara simulasi dan dunia nyata di seluruh 2000 simulasi dan 100 percobaan nyata per titik pemeriksaan. Ini memungkinkan versi yang lemah disaring dalam simulasi, menghemat pengujian perangkat keras nyata untuk kandidat yang menjanjikan. World Labs memposisikan simulator sebagai inti dari taksonomi model dunia mereka, mengutip paralel dengan mengemudi otonom. Tujuan jangka panjangnya adalah untuk memperluas dunia tempat robot belajar. World Labs, yang didirikan pada tahun 2024 oleh Fei-Fei Li, telah mengumpulkan modal ventura sebesar satu miliar dolar. Mesin R2S2R adalah aplikasi konkret pertama dalam robotika. Penelitian ini berkontribusi pada perdebatan tentang model dunia dalam robotika, membedakannya dari generator video dan kontras dengan pendekatan lain seperti World Action Models dan Orca dari China.