Mistral AI presenta Robostral Navigate: un modelo de navegación robótica que usa una sola cámara RGB

Mistral AI ha presentado su primer modelo para navegación encarnada: Robostral Navigate. Se trata de un modelo de 8 mil millones de parámetros que recibe imágenes RGB e instrucciones en lenguaje natural, y luego desplaza un robot por el entorno utilizando solo una cámara convencional, sin sensores de profundidad ni LiDAR. En el punto de referencia R2R-CE (Room-to-Room in Continuous Environments), el modelo alcanzó un 76,6% de éxito en escenas no vistas, superando en 9,7 puntos al mejor enfoque de cámara única y en 4,5 puntos a sistemas que usan profundidad o múltiples cámaras. El modelo se entrenó internamente con datos simulados, recopilando alrededor de 2,4 millones de trayectorias en 350 000 escenas. Funciona en robots con ruedas, patas y voladores, es robusto frente a diferencias en las cámaras y se adapta a obstáculos reales no encontrados durante el entrenamiento. El mecanismo de navegación se basa en "señalamiento": el modelo predice las coordenadas de un punto objetivo en el fotograma actual y la orientación deseada, y si el objetivo está fuera del campo de visión, utiliza desplazamientos en el sistema de coordenadas local. En el entrenamiento se empleó un almacenamiento en caché de prefijos eficiente, que redujo la cantidad de tokens en 22 veces, y un aprendizaje por refuerzo en línea (CISPO), que por sí solo aumentó la tasa de éxito en un 3,2%. La empresa planea desarrollar el campo de la inteligencia encarnada unificada.