200 tehtävää, 17 miljoonaa kuvaa: Daxia Robot avaa L5-tason kehollisen aineiston ACE-Data-0:n, muuttaen oikeat kodit robottien fyysisen maailman oppikirjoiksi

Daxia Robot on yhteistyössä Nanyang Technological Universityn S-Labin kanssa avannut lähdekoodin tasoisesti ACE-Data-0-datajoukon, joka on L5-tason (Level 5) multimodaalinen kehollistetun fyysisen älykkyyden datajoukko. Datajoukko perustuu maailman ensimmäiseen kehollistettujen mallien informaatiotiheyden lakiin ja ihmiskeskeiseen ympäristön datankeruumenetelmään 2.0, ja se hyödyntää ympäristön keruumoottoria ACE. ACE-Data-0 sisältää 17 miljoonaa videokehystä, 200 tehtäväluokkaa, 50 osallistujaa, 2 aitoa kotiympäristöä ja 75 000 vuorovaikutusjaksoa, jotka kattavat atomitason ihmisen ja esineiden vuorovaikutuksia, pitkän aikavälin kotitaloustoimintaketjuja sekä ihmisen ja ympäristön vuorovaikutuksia. Data kerätään samanaikaisesti ensimmäisen persoonan videolta, monikulmaisilta kolmannen persoonan videoilta, koko kehon ja käsien liikkeistä, esineiden kuuden vapausasteen (six degrees of freedom) liikeradoista, monikanavaisesta äänestä ja tuntoaistin signaaleista, ja kaikki tämä on synkronoitu yhtenäiseen aikajanaan ja tilalliseen koordinaatistoon. Datajoukko käyttää kahta toisiaan täydentävää keruujärjestelmää: pöytätason järjestelmää hienojakoisten käsi–esine-vuorovaikutusten mittaamiseen ja huonetason järjestelmää koko huoneen kattavien toimintojen tallentamiseen, ja molemmilla on yhteinen kalibrointi ja synkronointi. Toisin kuin käsikirjoitetussa keruussa, ACE-Data-0 käyttää tavoitetason ohjeita, joiden avulla osallistujat voivat vapaasti valita esineet, järjestykset ja reitit, mikä säilyttää luonnollisen vaihtelun, kuten epäröinnit ja perääntymiset. Datajoukon pohjalta Daxia on luonut kolmiportaisen arviointibenchmarkin kehollistetulle havainnoinnille, joka testaa malleja kosketuksen tunnistamisessa, tilan palautuksessa ja käsi–esine-vuorovaikutuksen ymmärtämisessä. Yli 30 edustavan menetelmän arvioinnit osoittavat merkittäviä osaamiskuiluja kosketuksen, vakavan peittymisen, oman liikkeen, äärimmäisten katselukulmien ja pitkän aikavälin tehtävien kohdalla. Datajoukko on suunniteltu tukemaan imitaatio-oppimista, maailmanmalleja, VLA-malleja (Vision-Language-Action), robottien toimintaperiaatteiden oppimista sekä siirtymää ihmisten demonstraatioista erilaisiin robottien kehomalleihin.