200 taken, 17 miljoen frames: Daxia Robot open-sourcet L5-level belichaamde dataset ACE-Data-0, maakt van echte huizen fysieke wereld leerboeken voor robots
Daxia Robot heeft samen met NTU S-Lab de L5-level multimodale belichaamde fysieke intelligentie dataset ACE-Data-0 open-sourcet, die 17 miljoen frames, 200 taakcategorieën, 50 deelnemers en 2 echte huisscènes bevat. De dataset legt gesynchroniseerde multimodale gegevens vast, waaronder first-person en third-person video, volledige lichaams- en handbewegingen, objecttrajecten, audio en tactiele signalen, allemaal uitgelijnd op een gemeenschappelijke tijdlijn en ruimtelijk coördinatensysteem. ACE-Data-0 is bedoeld om een hoogwaardige gegevensbasis te bieden voor belichaamde modellen, ter ondersteuning van generalisatie, reflectie en evolutie naar schaalbare toepassing in de echte wereld.
Daxia Robot heeft, in samenwerking met het S-Lab van de Nanyang Technological University, de ACE-Data-0-dataset open source gemaakt, een fysieke intelligentie-dataset voor belichaamde kunstmatige intelligentie op L5-niveau. Gebaseerd op 's werelds eerste informatiedichtheidswet voor belichaamde modellen en een mensgericht dataverzamelingsschema 2.0, maakt de dataset gebruik van de omgevingsverzamelingsengine ACE. ACE-Data-0 omvat 17 miljoen videoframes, 200 taakcategorieën, 50 deelnemers, 2 echte thuisomgevingen en 75.000 interactiesegmenten, die atomaire mens-objectinteracties, langdurige huishoudelijke activiteitenketens en mens-omgevingsinteracties bestrijken. Gegevens worden synchroon vastgelegd via eerstepersoonsvideo, multi-view derdepersoonsvideo, volledige lichaam- en handbeweging, zes vrijheidsgraden trajecten van objecten, meerkanaals audio en tactiele signalen, allemaal uitgelijnd op een uniforme tijdlijn en ruimtelijk coördinatensysteem. De dataset gebruikt twee complementaire verzamelsystemen: een tafelformaat systeem voor fijnmazige hand-objectinteracties en een kamerschaal systeem voor activiteiten in de hele ruimte, met gedeelde kalibratie en synchronisatie. In tegenstelling tot gescripte verzameling, gebruikt ACE-Data-0 instructies op doel niveau, waardoor deelnemers vrij items, volgordes en paden kunnen kiezen, met behoud van natuurlijke variaties zoals aarzelingen en omkeringen. Op basis van de dataset heeft Daxia een drietraps evaluatiebenchmark opgezet voor belichaamde perceptie, die modellen test op contactdetectie, toestandsherstel en begrip van hand-objectinteracties. Evaluaties van meer dan 30 representatieve methoden tonen aanzienlijke capaciteitslacunes aan op het gebied van contact, zware occlusie, egobeweging, extreme camerastandpunten en langdurige taken. De dataset is ontworpen om imitation learning, wereldmodellen, VLA-modellen, robotbeleidsleren en overdracht van menselijke demonstraties naar verschillende robotbelichamingen te ondersteunen.
Bron: InfoQ 中国 —
origineel
