30.000 horas de datos táctiles dotan a la IA incorporada de sentido del tacto
NeoteAI y la Universidad de Fudan han publicado una serie de tres informes y modelos bajo la serie N0, con el objetivo de integrar la retroalimentación táctil como componente central de la IA incorporada. El proyecto incluye un conjunto de datos de interacción táctil de 30.000 horas, un modelo de visión-lenguaje-acción N0-VTLA y un modelo del mundo N0-TWAM, todos ellos de código abierto.
NeoteAI (Shanghai New Intelligent Embodied AI Technology Co., Ltd.), en colaboración con el Instituto de Investigación de IA Incorporada Confiable de la Universidad de Fudan, publicó tres informes técnicos para la serie de modelos N0. El conjunto de datos Neodata contiene más de 30 000 horas de datos de interacción viso-táctil, 1,4 millones de segmentos de acción, 33 mil millones de pasos de tiempo, 8 mil millones de fotogramas RGB y 10 mil millones de imágenes táctiles, recopilados de 6 plataformas robóticas (Franka, Piper, UR5e, etc.) que abarcan 450 tareas de largo horizonte realizadas por 90 operadores. N0-VTLA es un VLA mejorado con táctil que predice los estados táctiles futuros con 50 pasos de anticipación, logrando un 85 % de éxito en la inserción de clavijas (frente al 60 % solo con visión) y un 99 % en la extracción de llaves (frente al 35 %). N0-TWAM es un modelo del mundo con 7,2 mil millones de parámetros que utiliza una arquitectura de mezcla de expertos, prediciendo simultáneamente secuencias de video, táctil y acción; la tasa de éxito promedio en simulación es del 84,5 % (línea base 36 %), mientras que en el mundo real es del 46,3 % (LingBot-VA 21,9 %). El proyecto es de código abierto en research.neoteai.com.
Fuente: QbitAI 量子位 —
original