200개 작업, 1700만 프레임: 다샤 로봇(Daxia Robot), L5 수준의 체화 데이터셋 ACE-Data-0 오픈소스로 공개, 실제 가정을 로봇을 위한 물리 세계 교과서로

Daxia Robot(다샤 로봇)가 남양이공대학교(Nanyang Technological University) S-Lab과 협력하여 L5급 멀티모달 임바디드(embodied, 신체화) 물리 지능 데이터셋인 ACE-Data-0을 오픈소스로 공개했다. 이 데이터셋은 세계 최초의 임바디드 모델용 정보 밀도 법칙과 인간 중심 환경 데이터 수집 방식 2.0을 기반으로 구축되었으며, 환경 수집 엔진 ACE를 활용한다. ACE-Data-0은 1,700만 개의 비디오 프레임, 200개의 작업 카테고리, 50명의 참가자, 2개의 실제 가정 환경, 그리고 7만 5,000개의 상호작용 구간을 포함하며, 원자 단위의 인간-사물 상호작용, 장기적 가사 활동 체인, 인간-환경 상호작용을 폭넓게 다룬다. 데이터는 1인칭 시점 비디오, 다중 시점 3인칭 비디오, 전신 및 손 동작, 사물의 6자유도(six degrees of freedom) 궤적, 다채널 오디오, 촉각 신호를 동시에 캡처하며, 이 모든 데이터는 통일된 시간축과 공간 좌표계에 정렬된다. 이 데이터셋은 두 가지 상호 보완적인 수집 시스템을 사용한다. 하나는 세밀한 손-사물 상호작용을 위한 테이블탑 규모 시스템이고, 다른 하나는 방 전체 활동을 위한 룸 규모 시스템으로, 두 시스템은 캘리브레이션과 동기화를 공유한다. 사전에 각본화된 수집 방식과 달리, ACE-Data-0은 목표 수준의 지시만을 제공하여 참가자가 물건, 순서, 경로를 자유롭게 선택하도록 함으로써 망설임이나 되돌아가는 행동과 같은 자연스러운 변화를 그대로 보존한다. 이 데이터셋을 기반으로 Daxia는 접촉 감지, 상태 복원, 손-사물 상호작용 이해를 테스트하는 3단계 임바디드 인지 평가 벤치마크를 구축했다. 30개 이상의 대표적인 방법론에 대한 평가 결과, 접촉 인식, 심각한 가림(occlusion), 자기 운동(egomotion), 극단적인 시점, 그리고 장기적 작업 처리에서 상당한 능력 격차가 나타났다. 이 데이터셋은 모방 학습, 월드 모델(world model), VLA(비전-언어-행동, Vision-Language-Action) 모델, 로봇 정책 학습, 그리고 인간 시범 동작을 다양한 로봇 형태로 전이하는 연구를 지원하기 위해 설계되었다.