Mistral AI dévoile Robostral Navigate : un modèle de navigation robotique avec une seule caméra RGB

Mistral AI a dévoilé Robostral Navigate, son premier modèle conçu pour la navigation incarnée. Ce modèle de 8 milliards de paramètres utilise des images RVB et des instructions en langage naturel pour déplacer un robot dans des environnements. Contrairement à d'autres modèles qui utilisent des capteurs de profondeur, LiDAR ou plusieurs caméras, Robostral Navigate fonctionne avec une seule caméra RVB ordinaire et aucun capteur de profondeur, atteignant 76,6 % sur le benchmark R2R-CE (Room-to-Room in Continuous Environments) pour la validation sur des données inédites. Cela dépasse la meilleure approche à caméra unique de 9,7 points et le meilleur système utilisant la profondeur ou plusieurs caméras de 4,5 points. Le modèle est entièrement développé en interne avec des données simulées et des techniques économes en tokens, et se généralise à travers les robots à roues, à pattes et volants. Il utilise une méthode de navigation basée sur le pointage qui prédit les coordonnées image des emplacements cibles, en se repliant sur des déplacements dans le repère local lorsque les cibles sont hors de vue. L'efficacité de l'entraînement est obtenue grâce à la mise en cache préfixe, réduisant les tokens d'entraînement par un facteur de 22 ; l'apprentissage par renforcement en ligne avec CISPO améliore encore le taux de succès de 3,2 %.