30 000 tuntia tuntoaistidataa antaa fyysiselle tekoälylle kosketusaistin
NeoteAI ja Fudanin yliopisto ovat julkaisseet kolmen raportin ja mallin sarjan N0-sarjan alla, jonka tavoitteena on integroida tuntoaistipalautteesta fyysisen tekoälyn keskeinen osa. Projekti sisältää 30 000 tunnin tuntoaistivuorovaikutustietokannan, visio-kieli-toimintamallin N0-VTLA ja maailmamallin N0-TWAM, jotka kaikki on avattu lähdekoodilla.
NeoteAI (Shanghai New Intelligent Embodied AI Technology Co., Ltd.) yhteistyössä Fudanin yliopiston Trustworthy Embodied AI Research Institute -instituutin kanssa julkaisi kolme teknistä raporttia N0-sarjan malleista. Neodata-tietoaineisto sisältää yli 30 000 tuntia visuotaktilista vuorovaikutusdataa, 1,4 miljoonaa toimintasegmenttiä, 33 miljardia aikavaihetta, 8 miljardia RGB-kehystä ja 10 miljardia taktiilikuvaa, jotka on kerätty 6 robottialustalta (Franka, Piper, UR5e jne.) kattaen 450 pitkän aikavälin tehtävää, jotka 90 käyttäjää on suorittanut. N0-VTLA on tuntoaistilla tehostettu VLA, joka ennustaa tulevia tuntoaistitiloja 50 vaihetta eteenpäin, saavuttaen 85 %:n onnistumisprosentin pistokkeen asettamisessa (verrattuna 60 %:iin vain visuaalisella toteutuksella) ja 99 %:n onnistumisen avaimen irrotuksessa (verrattuna 35 %:iin). N0-TWAM on maailmanmalli, jossa on 7,2 miljardia parametria ja joka käyttää mixed of experts -arkkitehtuuria; se ennustaa samanaikaisesti video-, tunto- ja toimintasarjoja. Simulaation keskimääräinen onnistumisaste on 84,5 % (perustaso 36 %), oikeassa maailmassa 46,3 % (LingBot-VA 21,9 %). Projekti on julkaistu avoimesti osoitteessa research.neoteai.com.
Lähde: QbitAI 量子位 —
Alkuperäinen