Mistral AI Luncurkan Robostral Navigate: Model Navigasi Robot dengan Kamera RGB Tunggal

Mistral AI telah meluncurkan Robostral Navigate, model pertama mereka yang dirancang untuk navigasi bervujud. Model dengan 8 miliar parameter ini menggunakan gambar RGB dan instruksi bahasa sederhana untuk menggerakkan robot melalui lingkungan. Berbeda dengan model lain yang menggunakan sensor kedalaman, Lidar (Light Detection and Ranging), atau beberapa kamera, Robostral Navigate beroperasi dengan satu kamera RGB biasa tanpa sensor kedalaman, mencapai 76,6% pada validasi R2R-CE (Room-to-Room in Continuous Environments) untuk data yang belum pernah dilihat. Ini mengungguli pendekatan kamera tunggal terbaik sebesar 9,7 poin dan sistem terbaik yang menggunakan kedalaman atau beberapa kamera sebesar 4,5 poin. Model ini dibangun sepenuhnya secara internal dengan data simulasi dan teknik token-efisien, serta dapat digeneralisasi untuk robot beroda, berkaki, dan terbang. Model ini menggunakan metode navigasi berbasis penunjuk yang memprediksi koordinat gambar dari lokasi target, dan beralih ke perpindahan kerangka koordinat lokal saat target tidak terlihat. Efisiensi pelatihan dicapai melalui penyimpanan cache awalan (prefix-caching), mengurangi token pelatihan hingga 22 kali lipat; pembelajaran penguatan daring dengan CISPO lebih lanjut meningkatkan tingkat keberhasilan sebesar 3,2%.