Google lance trois nouveaux modèles pour transformer les robots en « travailleurs polyvalents » : adaptation rapide, contrôle du corps entier et collaboration en équipe

Le 30 juillet, Google DeepMind a présenté Gemini Robotics 2, une nouvelle version de sa série de modèles d'IA conçue pour contrôler divers robots, y compris des humanoïdes, leur permettant de s'adapter de manière autonome à des environnements imprévisibles et de raisonner sur chaque action, ouvrant ainsi un large éventail de tâches telles que nettoyer les déchets et ramasser un arrosoir. La mise à jour ajoute un contrôle intelligent du corps entier, une dextérité avancée et une collaboration multi-robots, marquant une nouvelle phase dans la robotique. Le système Gemini Robotics précédent pouvait piloter des robots pour effectuer des opérations fines comme sceller des sacs et plier des origamis, mais uniquement avec des bras et des mains robotiques. Les nouveaux modèles peuvent fonctionner sur l'appareil et s'adapter à des corps robotiques entièrement nouveaux en quelques heures, transférant les compétences apprises à travers différentes plateformes. Ils permettent également à différents robots de travailler ensemble pour accomplir des tâches plus rapidement. Google considère cela comme une étape vers l'AGI physique, où les robots pourraient faire tout ce qu'un humain peut faire. Des vidéos de démonstration montrent l'humanoïde Apptronik Apollo 2 suivant des commandes comme placer un arrosoir sur une boîte verte, et des robots effectuant des tâches telles que placer des livres sur des étagères, ranger des planches et insérer des cassettes dans une radio. Le système prend en charge des mains à cinq doigts hautement dextres, comme la main SharpaWave à 22 degrés de liberté sur Apollo 2, effectuant des tâches comme faire des nœuds et fermer des sacs à glissière, ainsi que des pinces à deux doigts standard comme la Franka Duo. Google rapporte des taux de réussite entre 45,7 % et 76,3 % pour trois catégories de manipulation du corps entier, de 74,2 % à 89,6 % pour trois catégories de pinces Franka Duo, et de 32 % à 92 % pour les tâches multi-doigts. Les vidéos montrent des robots entièrement autonomes, contrastant avec Optimus d'Elon Musk qui aurait utilisé des opérateurs à distance. Cependant, ces robots ne sont pas polyvalents ; chaque tâche est spécifiquement entraînée en utilisant la téléopération, des exemples vidéo et la simulation. L'approche de Google implique trois modèles distincts : Gemini Robotics 2, un modèle VLA convertissant les entrées visuelles et linguistiques en contrôle moteur pour un contrôle complet du corps ; Gemini Robotics ER 2, un VLM de raisonnement incarné agissant comme le cerveau agent pour la communication, la planification de tâches en plusieurs étapes et la collaboration d'équipe de robots ; et Gemini Robotics On-Device 2, un modèle VLA pour l'exécution locale avec une adaptation rapide à de nouveaux corps robotiques, hérité de Gemini Robotics 1.5. Pour la sécurité, Google a introduit ASIMOV-Agentic, un benchmark pour l'orchestration de la sécurité agentique et la résolution d'incertitude, mesurant la capacité de l'agent à rejeter les appels d'outils dangereux et à prédire l'achèvement des tâches. Gemini Robotics ER 2 est le modèle de robot le plus sûr à ce jour, détectant la proximité humaine et arrêtant les robots en conséquence. Le logiciel fonctionne sur des corps robotiques, dont beaucoup sont fabriqués en Chine, malgré les récentes restrictions américaines sur les robots fabriqués en Chine.