200 Tarefas, 17 Milhões de Quadros: Daxia Robot Lança em Código Aberto o Conjunto de Dados Encarnados de Nível L5 ACE-Data-0, Transformando Casas Reais em Livros Didáticos do Mundo Físico para Robôs

A Daxia Robot, em colaboração com o S-Lab da Universidade Tecnológica de Nanyang, disponibilizou em código aberto o conjunto de dados ACE-Data-0, um conjunto de dados de inteligência física incorporada multimodal de nível L5. Construído com base na primeira lei de densidade de informação para modelos incorporados e no esquema de coleta de dados ambientais centrados no ser humano 2.0, o conjunto de dados utiliza o mecanismo de coleta ambiental ACE. O ACE-Data-0 inclui 17 milhões de quadros de vídeo, 200 categorias de tarefas, 50 participantes, 2 cenas domésticas reais e 75.000 segmentos de interação, cobrindo interações humano-objeto em nível atômico, cadeias de atividades domésticas de longo horizonte e interações humano-cena. Os dados são capturados de forma síncrona por vídeo em primeira pessoa, vídeo em terceira pessoa de múltiplas vistas, movimento corporal completo e das mãos, trajetórias de objeto com seis graus de liberdade, áudio multicanal e sinais táteis, tudo alinhado a uma linha do tempo unificada e a um sistema de coordenadas espaciais. O conjunto de dados utiliza dois sistemas de coleta complementares: um sistema em escala de mesa para interações finas mão-objeto e um sistema em escala de sala para atividades em todo o ambiente, com calibração e sincronização compartilhadas. Ao contrário da coleta com roteiro, o ACE-Data-0 usa instruções em nível de objetivo, permitindo que os participantes escolham livremente itens, sequências e caminhos, preservando variações naturais como hesitações e reversões. Com base no conjunto de dados, a Daxia estabeleceu um benchmark de avaliação em três níveis para a percepção incorporada, testando modelos em detecção de contato, recuperação de estado e compreensão da interação mão-objeto. Avaliações de mais de 30 métodos representativos mostram lacunas significativas de capacidade em contato, oclusão severa, egomotion, pontos de vista extremos e tarefas de longo horizonte. O conjunto de dados é projetado para apoiar aprendizado por imitação, modelos de mundo, modelos VLA, aprendizado de políticas de robô e transferência de demonstrações humanas para diferentes corpos de robôs.