Mistral AI esittelee Robostral Navigate -mallin: Robottien navigointi yhdellä RGB-kameralla

Mistral AI on esitellyt Robostral Navigaten, ensimmäisen mallinsa, joka on rakennettu sulautettua navigointia varten. 8B parametrin malli ottaa vastaan RGB-kuvia ja selkokielisiä ohjeita liikuttaakseen robottia ympäristöissä. Toisin kuin muut mallit, jotka käyttävät syvyysantureita, LiDARia tai useita kameroita, Robostral Navigate toimii yhdellä tavallisella RGB-kameralla ilman syvyysantureita, saavuttaen 76,6 % R2R-CE (Room-to-Room in Continuous Environments) -validointina näkemättömässä osiossa. Tämä päihittää parasta yhden kameran lähestymistapaa 9,7 pisteellä ja parasta syvyys- tai monikamerajärjestelmää 4,5 pisteellä. Malli on rakennettu kokonaan talon sisällä simuloidulla datalla ja tokenitehokkailla tekniikoilla, ja se yleistyy pyörällisiin, jalkoihin perustuviin ja lentäviin robotteihin. Se käyttää osoittamispohjaista navigointimenetelmää, joka ennustaa kohdepaikkojen kuvakoordinaatteja ja turvautuu paikallisiin koordinaatistosiirtymiin, kun kohteet eivät ole näkyvissä. Harjoittelutehokkuus saavutetaan esiliitosvälimuistilla (prefix-caching), mikä vähentää harjoitustokeneita 22×; online-vahvistusoppiminen CISPO:lla parantaa onnistumisprosenttia edelleen 3,2 %.}