Pourquoi il est difficile pour un humanoïde de saisir des objets en mouvement : développement du VLA pour les environnements dynamiques

L'ingénieur ML de MTC Web Services, Daniya, explique pourquoi il est difficile pour les robots humanoïdes de travailler dans un environnement dynamique, par exemple lorsque des objets se déplacent sur un convoyeur. En conditions statiques, les modèles VLA (Vision-Langage-Action) modernes montrent une grande qualité de contrôle, mais en dynamique, trois problèmes majeurs se posent : le délai entre l'observation et l'action (l'image de la caméra, le traitement, l'envoi de la commande prennent des dizaines de millisecondes, pendant lesquelles l'objet se déplace), l'obsolescence des séquences d'actions pré-calculées (action chunk), et le manque d'informations lors de l'analyse d'une seule image (impossible de déterminer la vitesse et la direction du mouvement). Pour résoudre ces problèmes, les modèles se tournent vers l'analyse de séquences d'images, la mise à jour continue des actions et la prise en compte des signaux physiques (position des articulations, données tactiles). L'humanoïde est plus complexe qu'un manipulateur stationnaire, car le mouvement du bras affecte l'équilibre du corps ; un contrôle du corps entier (whole-body control) est nécessaire, coordonnant les mouvements des bras, du torse et des jambes. Chez RnD MWS, ils développent un modèle VLA dynamique pour le corps entier basé sur l'architecture RLDX-1, qui traite plusieurs flux d'informations (mouvement, contexte, physique, actions) et fonctionne avec l'humanoïde Unitree G1. L'objectif est d'apprendre au robot à saisir des pièces sur un convoyeur, en prédisant leur trajectoire, en synchronisant les mouvements et en maintenant l'équilibre.