Mistral AI ra mắt Robostral Navigate: Mô hình điều hướng robot chỉ với một camera RGB

Mistral AI đã trình làng Robostral Navigate, mô hình đầu tiên được xây dựng cho khả năng dẫn đường nhúng (embodied navigation). Mô hình 8 tỷ tham số này sử dụng hình ảnh RGB và chỉ dẫn bằng ngôn ngữ thông thường để di chuyển robot qua các môi trường. Không giống các mô hình khác dùng cảm biến độ sâu, LiDAR hoặc nhiều camera, Robostral Navigate hoạt động với một camera RGB thông thường duy nhất và không có cảm biến độ sâu, đạt 76,6% trên tác vụ xác thực R2R-CE (Dẫn đường từ phòng này sang phòng khác trong môi trường liên tục). Kết quả này vượt phương pháp camera đơn tốt nhất 9,7 điểm và vượt hệ thống dùng độ sâu hoặc nhiều camera tốt nhất 4,5 điểm. Mô hình được xây dựng hoàn toàn nội bộ với dữ liệu mô phỏng và kỹ thuật tối ưu hóa token, đồng thời có khả năng tổng quát hóa trên các robot bánh lốp, chân và bay. Mô hình sử dụng phương pháp dẫn đường dựa trên điểm trỏ (pointing-based navigation), dự đoán tọa độ điểm ảnh của vị trí mục tiêu, và chuyển sang khung tọa độ cục bộ khi mục tiêu khuất tầm nhìn. Hiệu quả huấn luyện đạt được nhờ prefix-caching, giảm số token huấn luyện 22 lần; học tăng cường trực tuyến với CISPO cải thiện thêm 3,2% tỷ lệ thành công.