200 Tugas, 17 Juta Bingkai: Daxia Robot Buka Sumber Dataset Embodied Level L5 ACE-Data-0, Mengubah Rumah Nyata menjadi Buku Teks Dunia Fisik untuk Robot

Daxia Robot, bekerja sama dengan S-Lab Nanyang Technological University, telah merilis dataset ACE-Data-0 secara open-source, yaitu dataset kecerdasan fisik multimodal berwujud tingkat L5. Dibangun di atas hukum kepadatan informasi pertama di dunia untuk model berwujud dan skema pengumpulan data lingkungan yang berpusat pada manusia 2.0, dataset ini memanfaatkan mesin pengumpulan lingkungan ACE. ACE-Data-0 mencakup 17 juta bingkai video, 200 kategori tugas, 50 partisipan, 2 skenario rumah asli, dan 75.000 segmen interaksi, mencakup interaksi manusia-objek tingkat atom, rantai aktivitas rumah tangga jangka panjang, dan interaksi manusia-lingkungan. Data direkam secara sinkron dari video orang pertama, video orang ketiga multi-sudut, gerakan seluruh tubuh dan tangan, lintasan enam derajat kebebasan objek, audio multi-kanal, dan sinyal taktil, semuanya selaras dengan garis waktu dan sistem koordinat spasial yang terpadu. Dataset ini menggunakan dua sistem pengumpulan yang saling melengkapi: sistem skala meja untuk interaksi tangan-objek dengan detail halus dan sistem skala ruangan untuk aktivitas seluruh ruangan, dengan kalibrasi dan sinkronisasi bersama. Berbeda dengan pengumpulan berdasarkan skrip, ACE-Data-0 menggunakan instruksi tingkat tujuan, memungkinkan partisipan memilih item, urutan, dan jalur secara bebas, menjaga variasi alami seperti keraguan dan pembalikan arah. Berdasarkan dataset ini, Daxia telah menetapkan tolok ukur evaluasi tiga tingkat untuk persepsi berwujud, menguji model pada penginderaan kontak, pemulihan status, dan pemahaman interaksi tangan-objek. Evaluasi terhadap lebih dari 30 metode representatif menunjukkan kesenjangan kemampuan yang signifikan dalam kontak, oklusi parah, gerakan ego, sudut pandang ekstrem, dan tugas jangka panjang. Dataset ini dirancang untuk mendukung pembelajaran imitasi, model dunia, model VLA (Vision-Language-Action), pembelajaran kebijakan robot, dan transfer dari demonstrasi manusia ke berbagai bentuk robot.