Gemini Robotics ER 2: Robotik mit Videoverständnis, Aufgabenorchestrierung und Multi-Roboter-Kollaboration

Google DeepMind hat Gemini Robotics ER 2 vorgestellt, ein verkörpertes Reasoning-Modell für Robotik, das als übergeordnetes Gehirn für Roboter fungiert. Es kann mit Menschen kommunizieren, die physische Welt verstehen, mehrstufige Aufgaben planen und die motorische Ausführung an untergeordnete Vision-Language-Action-Modelle (VLA-Modelle) übergeben. Das Modell ruft nativ Werkzeuge wie die Google-Suche oder benutzerdefinierte Funktionen auf. Es verbessert sich gegenüber ER 1.6 unter anderem dadurch, dass es kontinuierliche Videostreams verarbeitet, um den Fortschritt zu verfolgen, auf Fehler zu reagieren und den Abschluss von Aufgaben zu bestimmen. Zudem wird die Zusammenarbeit mehrerer Roboter eingeführt, die es verschiedenen Robotern ermöglicht, gemeinsam zu arbeiten. Gemini Robotics ER 2 erreicht eine Genauigkeit von 57,4 % bei der Fortschrittsklassifizierung und 91,3 % bei der Momenterkennung mit einer Latenzzeit unter einer Sekunde. Es übertrifft frühere Modelle in Sicherheitsbenchmarks, darunter das Anhalten eines humanoiden Roboters, wenn sich eine Person in der Nähe befindet. Das Modell ist öffentlich über die Gemini API, Google AI Studio und in der privaten Vorschau auf der Gemini Enterprise Agent Platform verfügbar.