World Labs toont hoe robots complexe taken leren zonder echte trainingsdata

World Labs heeft de eerste resultaten gepubliceerd van zijn R2S2R-engine, die echte robottaken omzet in simulaties om controlemodelen te trainen en evalueren zonder dure tests op echte hardware. De technologie komt van SceniX, dat in juli door World Labs is overgenomen. De engine werkt in twee stappen: eerst registreert het robots, sensoren, omgeving en taakdemonstraties om een interactieve virtuele wereld te reconstrueren die zich fysiek gedraagt zoals het origineel. Vanuit een enkele echte taak genereert het duizenden variaties in belichting, objectposities, fysica-eigenschappen en cameraperspectieven. Vervolgens worden controlemodelen in de simulatie getraind en overgedragen naar echte robots. Tests zijn uitgevoerd op het ALOHA-platform en vier andere robotplatformen, waarbij modellen een uur lang zonder menselijke tussenkomst draaiden. De voorbeelden omvatten kabelroutering, het inbrengen van een elastisch kabeluiteinde in een gat en het inpakken van dozen met twee handen. Het systeem is model-agnostisch en kan opnieuw worden gebruikt voor nieuwe modellen en robots. World Labs stelt dat de ontwikkeling van robots achterblijft bij taalmodellen omdat evaluatie gekoppeld is aan tests in de echte wereld; een robuuste simulatie moet dezelfde vragen beantwoorden over modelfouten en verbeteringen. Ze testten met een twehandige kubusoverdrachtstaak, waarbij de simulatie randgevallen en fouten reproduceerde. De rangschikking van modellen (waaronder GR00T N1.6 en π₀.₅) bleef vergelijkbaar tussen simulatie en echte wereld, over 2000 gesimuleerde en 100 echte runs per controlepunt. Dit maakt het mogelijk om zwakke versies in de simulatie eruit te filteren, waardoor echte hardwaretests worden bespaard voor veelbelovende kandidaten. World Labs positioneert de simulator als centraal in zijn taxonomie van wereldmodellen, met parallellen naar autonoom rijden. Het langetermijndoel is om de werelden waarin robots leren te schalen. World Labs, opgericht in 2024 door Fei-Fei Li, heeft een miljard dollar aan durfkapitaal opgehaald. De R2S2R-engine is de eerste concrete toepassing in robotica. Het onderzoek draagt bij aan het debat over wereldmodellen in robotica, door onderscheid te maken met videogeneratoren en te contrasteren met andere benaderingen zoals World Action Models en China's Orca.