Mistral AI apresenta Robostral Navigate: um modelo para navegação de robôs com uma única câmera RGB

A Mistral AI lançou o Robostral Navigate, seu primeiro modelo construído para navegação incorporada. O modelo de 8 bilhões de parâmetros usa imagens RGB e instruções em linguagem natural para mover um robô por ambientes. Diferentemente de outros modelos que usam sensores de profundidade, LiDAR ou múltiplas câmeras, o Robostral Navigate opera com uma única câmera RGB comum e nenhum sensor de profundidade, alcançando 76,6% no R2R-CE (Room-to-Room in Continuous Environments, ou Sala a Sala em Ambientes Contínuos) para validação em dados não vistos. Isso supera a melhor abordagem com uma única câmera em 9,7 pontos e o melhor sistema que usa profundidade ou múltiplas câmeras em 4,5 pontos. O modelo é inteiramente desenvolvido internamente com dados simulados e técnicas eficientes em termos de tokens, e generaliza entre robôs com rodas, pernas e voadores. Ele usa um método de navegação baseado em apontamento que prevê coordenadas de imagem dos locais alvo, recorrendo a deslocamentos no sistema de coordenadas local quando os alvos estão fora de vista. A eficiência do treinamento é alcançada via prefix-caching, reduzindo os tokens de treinamento em 22 vezes; o aprendizado por reforço online com CISPO melhora ainda mais a taxa de sucesso em 3,2%.