Mistral AI Onthult Robostral Navigate: Een Model voor Robotnavigatie met een Enkele RGB-camera

Mistral AI heeft Robostral Navigate onthuld, zijn eerste model voor belichaamde navigatie. Het 8B-parametermodel gebruikt RGB-beelden en instructies in eenvoudige taal om een robot door omgevingen te bewegen. In tegenstelling tot andere modellen die dieptesensoren, LiDAR of meerdere camera's gebruiken, werkt Robostral Navigate met een enkele gewone RGB-camera en zonder dieptesensoren, en behaalt 76,6% op de R2R-CE (Room-to-Room in Continuous Environments) validatie ongezien. Dit verslaat de beste aanpak met één camera met 9,7 punten en het beste systeem dat diepte of meerdere camera's gebruikt met 4,5 punten. Het model is volledig intern ontwikkeld met gesimuleerde data en token-efficiënte technieken, en generaliseert over robots met wielen, poten en vliegende robots. Het gebruikt een op aanwijzen gebaseerde navigatiemethode die beeldcoördinaten van doellocaties voorspelt, en valt terug op lokale coördinatenstelselverplaatsingen wanneer doelen uit het zicht zijn. Trainingsefficiëntie wordt bereikt via prefix-caching, wat de trainingstokens met 22× vermindert; online reinforcement learning met CISPO verbetert het succespercentage verder met 3,2%.