Mistral AI, Robostral Navigate'i Tanıttı: Tek RGB Kamera ile Robot Navigasyonu İçin Bir Model

Mistral AI, gömülü navigasyon için oluşturulmuş ilk modeli Robostral Navigate'i tanıttı. 8B parametreli model, RGB görüntüleri ve düz metin talimatlarını alarak bir robotu ortamlarda hareket ettiriyor. Derinlik sensörleri, LiDAR veya birden çok kamera kullanan diğer modellerin aksine, Robostral Navigate tek bir sıradan RGB kamera ve derinlik sensörü olmadan çalışarak R2R-CE (Ro-om-to-Room in Continuous Environments) doğrulama görülmemiş bölümünde %76,6'ya ulaşıyor. Bu, en iyi tek kamera yaklaşımını 9,7 puan ve derinlik veya birden çok kamera kullanan en iyi sistemi 4,5 puan geride bırakıyor. Model tamamen şirket içinde simüle edilmiş veriler ve token verimli tekniklerle oluşturulmuş olup tekerlekli, bacaklı ve uçan robotlar arasında genelleme yapabiliyor. Hedef konumların görüntü koordinatlarını tahmin eden ve hedefler görüş alanı dışında olduğunda yerel koordinat çerçevesi yer değiştirmelerine geri dönen işaret tabanlı bir navigasyon yöntemi kullanıyor. Eğitim verimliliği, eğitim token'larını 22 kat azaltan ön ek önbelleğe alma (prefix-caching) ile sağlanıyor; CISPO ile çevrimiçi takviyeli öğrenme, başarı oranını %3,2 daha artırıyor.