Cinco universidades de primer nivel lanzan el primer benchmark para modelos de mundo trivista en robótica
Un consorcio de cinco universidades chinas líderes ha publicado el primer ranking para modelos de mundo trivista en robótica, llamado TriWorldBench Challenge. El benchmark evalúa los modelos en consistencia multivista, ejecución de tareas y comprensión física, con resultados preliminares que muestran a CASIA-DRL, TONGJI Spatial Intelligence Team y Fysics AI a la cabeza.
El Desafío TriWorldBench, iniciado conjuntamente por la Universidad de Pekín, la Universidad de Tsinghua, la Universidad de Beihang, la Universidad Jiao Tong de Shanghái y la Universidad de Ciencia y Tecnología de China, ha publicado su primera clasificación semanal. Es el primer benchmark de evaluación para modelos de mundo tridimensional en robótica, con el objetivo de establecer un sistema de evaluación más completo para los modelos de mundo encarnados y empujarlos de la 'generación visual' a la 'comprensión del mundo'. El benchmark evalúa los modelos en cuanto a consistencia multi-vista, ejecución de tareas y comprensión del espacio físico, y está abierto a equipos de investigación de todo el mundo. En la primera semana, los modelos WoVR_Plus de CASIA-DRL, BetaBWM del Equipo de Inteligencia Espacial de Tongji, y Fysiverse-Video de Fysics AI ocuparon los tres primeros puestos. El benchmark se centra en la generación y comprensión de videos desde la vista de la cabeza, la vista de la muñeca izquierda y la vista de la muñeca derecha. Utiliza 500 episodios sincronizados de tres vistas que cubren 50 tareas de manipulación robótica, y agrega 19 señales de evaluación en seis dimensiones en una puntuación total llamada TWB-Score. El sistema también construye anotaciones STATE a partir de trayectorias de referencia para evaluar el movimiento y la inmovilidad. La clasificación se actualiza regularmente, y los organizadores fomentan la participación global a través del sitio web oficial y el repositorio de GitHub.
Fuente: QbitAI 量子位 —
original