200 tâches, 17 millions d'images : Daxia Robot open-source le jeu de données incarné de niveau L5 ACE-Data-0, transformant les vraies maisons en manuels du monde physique pour les robots

Daxia Robot, en collaboration avec le S-Lab de l'Université technologique de Nanyang, a ouvert le jeu de données ACE-Data-0, un ensemble de données d'intelligence physique incarnée multimodale de niveau L5. Construit sur la première loi de densité d'information au monde pour les modèles incarnés et le schéma de collecte de données environnementales centré sur l'humain 2.0, le jeu de données s'appuie sur le moteur de collecte environnementale ACE. ACE-Data-0 comprend 17 millions de trames vidéo, 200 catégories de tâches, 50 participants, 2 scènes domestiques réelles et 75 000 segments d'interaction, couvrant les interactions humain-objet au niveau atomique, les chaînes d'activités domestiques à long horizon et les interactions humain-scène. Les données sont capturées en synchronisation depuis la vidéo à la première personne, la vidéo multi-vues à la troisième personne, les mouvements du corps entier et des mains, les trajectoires des objets à six degrés de liberté, l'audio multicanal et les signaux tactiles, toutes alignées sur une ligne temporelle unifiée et un système de coordonnées spatiales. Le jeu de données utilise deux systèmes de collecte complémentaires : un système à l'échelle de la table pour les interactions fines main-objet et un système à l'échelle de la pièce pour les activités dans toute la pièce, avec calibration et synchronisation partagées. Contrairement à la collecte scénarisée, ACE-Data-0 utilise des instructions au niveau des objectifs, permettant aux participants de choisir librement les objets, les séquences et les chemins, préservant les variations naturelles comme les hésitations et les retours en arrière. Sur la base du jeu de données, Daxia a établi un benchmark d'évaluation en trois niveaux pour la perception incarnée, testant les modèles sur la détection de contact, la récupération d'état et la compréhension de l'interaction main-objet. Les évaluations de plus de 30 méthodes représentatives montrent des lacunes importantes en matière de contact, d'occlusion sévère, de mouvement égocentrique, de points de vue extrêmes et de tâches à long horizon. Le jeu de données est conçu pour soutenir l'apprentissage par imitation, les modèles de monde, les modèles VLA, l'apprentissage des politiques des robots et le transfert des démonstrations humaines à différentes incarnations de robots.