Mistral AI ने रोबोस्ट्राल नेविगेट का अनावरण किया: एकल RGB कैमरे से रोबोट नेविगेशन के लिए मॉडल

Mistral AI ने Robostral Navigate पेश किया है, जो एम्बॉडिड नेविगेशन के लिए बना इसका पहला मॉडल है। 8 बिलियन पैरामीटर वाला यह मॉडल RGB इमेज और सादे भाषा के निर्देश लेकर रोबोट को वातावरण में घुमाता है। अन्य मॉडलों के विपरीत जो डेप्थ सेंसर, LiDAR या कई कैमरों का उपयोग करते हैं, Robostral Navigate एक साधारण RGB कैमरे से और बिना डेप्थ सेंसर के काम करता है, और R2R-CE (कंटीन्यूअस एनवायरनमेंट्स में रूम-टू-रूम) वैलिडेशन अनसीन पर 76.6% स्कोर प्राप्त करता है। यह सर्वश्रेष्ठ सिंगल-कैमरा दृष्टिकोण से 9.7 अंक और डेप्थ या कई कैमरों का उपयोग करने वाली सर्वश्रेष्ठ प्रणाली से 4.5 अंक बेहतर है। मॉडल पूरी तरह से इन-हाउस सिम्युलेटेड डेटा और टोकन-कुशल तकनीकों से बनाया गया है, और पहिएदार, पैर वाले तथा उड़ने वाले रोबोटों पर सामान्यीकृत होता है। यह एक पॉइंटिंग-आधारित नेविगेशन विधि का उपयोग करता है जो लक्ष्य स्थानों के इमेज निर्देशांक की भविष्यवाणी करता है, और जब लक्ष्य दृश्य से बाहर होते हैं तो स्थानीय समन्वय फ्रेम विस्थापन पर वापस आ जाता है। प्रीफिक्स-कैशिंग के माध्यम से प्रशिक्षण दक्षता प्राप्त की गई है, जिससे प्रशिक्षण टोकन में 22 गुना कमी आई है; CISPO के साथ ऑनलाइन रिइन्फोर्समेंट लर्निंग से सफलता दर में 3.2% और सुधार हुआ है।