30 mil horas de dados táteis dão à IA incorporada um senso de toque
A NeoteAI e a Universidade de Fudan lançaram uma série de três relatórios e modelos sob a série N0, com o objetivo de integrar o feedback tátil como um componente central da IA incorporada. O projeto inclui um conjunto de dados de interação tátil de 30 mil horas, um modelo visão-linguagem-ação N0-VTLA e um modelo de mundo N0-TWAM, todos de código aberto.
A NeoteAI (Shanghai New Intelligent Embodied AI Technology Co., Ltd.), em colaboração com o Instituto de Pesquisa em IA Incorporada Confiável da Universidade de Fudan, publicou três relatórios técnicos para a série de modelos N0. O conjunto de dados Neodata contém mais de 30.000 horas de dados de interação visuo-tátil, 1,4 milhão de segmentos de ação, 33 bilhões de passos de tempo, 8 bilhões de quadros RGB e 10 bilhões de imagens táteis, coletados de 6 plataformas robóticas (Franka, Piper, UR5e, etc.) cobrindo 450 tarefas de longo horizonte por 90 operadores. O N0-VTLA é um VLA (Vision-Language-Action) aprimorado por tato que prevê estados táteis futuros com 50 passos de antecedência, alcançando 85% de sucesso na inserção de plugues (contra 60% apenas com visão) e 99% na extração de chaves (contra 35%). O N0-TWAM é um modelo de mundo com 7,2 bilhões de parâmetros usando uma arquitetura de mistura de especialistas, que prevê simultaneamente sequências de vídeo, tato e ação; a taxa média de sucesso em simulação é de 84,5% (baseline 36%), e no mundo real, 46,3% (LingBot-VA 21,9%). O projeto é de código aberto em research.neoteai.com.
Fonte: QbitAI 量子位 —
original