World Labs zeigt, wie Roboter komplexe Aufgaben ohne echte Trainingsdaten lernen

World Labs hat erste Ergebnisse seiner R2S2R-Engine veröffentlicht, die reale Roboteraufgaben in Simulationen umwandelt, um Steuerungsmodelle ohne teure Versuche an echter Hardware zu trainieren und zu evaluieren. Die Technologie stammt von SceniX, das im Juli von World Labs übernommen wurde. Die Engine arbeitet in zwei Schritten: Zuerst zeichnet sie Roboter, Sensoren, Umgebung und Aufgaben-Demonstrationen auf, um eine interaktive virtuelle Welt zu rekonstruieren, die sich physikalisch wie das Original verhält. Aus einer einzigen realen Aufgabe erzeugt sie Tausende von Variationen in Beleuchtung, Objektpositionen, physikalischen Eigenschaften und Kameraperspektiven. Dann werden Steuerungsmodelle in der Simulation trainiert und auf reale Roboter übertragen. Tests wurden auf der ALOHA-Plattform und vier weiteren Roboterplattformen durchgeführt, wobei die Modelle eine Stunde lang ohne menschliches Eingreifen liefen. Die Beispiele umfassen Kabelführung, das Einführen eines elastischen Kabelendes in ein Loch und das beidhändige Packen von Kartons. Das System ist modellunabhängig und kann für neue Modelle und Roboter wiederverwendet werden. World Labs argumentiert, dass die Roboterentwicklung hinter Sprachmodellen zurückbleibt, weil die Evaluierung an reale Tests gebunden ist; eine robuste Simulation muss dieselben Fragen über Modellfehler und -verbesserungen beantworten. Sie testeten mit einer beidhändigen Würfelübertragungsaufgabe, bei der die Simulation Randfälle und Fehler reproduzierte. Die Rangfolge der Modelle (einschließlich GR00T N1.6 und π₀.₅) blieb zwischen Simulation und realer Welt über 2000 simulierte und 100 reale Läufe pro Checkpoint ähnlich. Dies ermöglicht es, schwache Versionen in der Simulation herauszufiltern und echte Hardwaretests für vielversprechende Kandidaten aufzusparen. World Labs positioniert den Simulator als zentral für seine Taxonomie von Weltmodellen und verweist auf Parallelen zum autonomen Fahren. Das langfristige Ziel ist es, die Welten, in denen Roboter lernen, zu skalieren. World Labs, 2024 von Fei-Fei Li gegründet, hat eine Milliarde Dollar an Risikokapital eingesammelt. Die R2S2R-Engine ist die erste konkrete Anwendung in der Robotik. Die Forschung trägt zur Debatte über Weltmodelle in der Robotik bei, unterscheidet sie von Videogeneratoren und kontrastiert sie mit anderen Ansätzen wie World Action Models und Chinas Orca.