Mistral AI、単一RGBカメラによるロボットナビゲーションモデル「Robostral Navigate」を発表

Mistral AIは、身体を持つロボットのナビゲーションに特化した初のモデル「Robostral Navigate」を発表した。この8Bパラメータのモデルは、RGB画像と平易な指示文を用いてロボットを環境内で移動させる。深度センサー、LiDAR、または複数カメラを使用する他のモデルとは異なり、Robostral Navigateは単一の通常RGBカメラで動作し深度センサーを必要とせず、R2R-CE（連続環境における部屋間移動）のバリデーション未見データで76.6%を達成した。これは、最高の単一カメラ方式より9.7ポイント、深度または複数カメラを使用する最高システムより4.5ポイント優れている。このモデルは、シミュレーションデータとトークン効率的な技術を用いて完全に社内で構築され、車輪式、脚式、飛行ロボットに一般化する。ポインティングベースのナビゲーション手法を用い、目標位置の画像座標を予測し、目標が視界外にある場合はローカル座標フレームの変位にフォールバックする。トレーニング効率はプレフィックスキャッシングにより達成され、トレーニングトークンを22倍削減。さらに、CISPOによるオンライン強化学習で成功率を3.2%向上させている。