World Labs mostra como robôs aprendem tarefas complexas sem dados reais de treinamento

A World Labs publicou os primeiros resultados do seu mecanismo R2S2R, que converte tarefas robóticas reais em simulações para treinar e avaliar modelos de controle sem a necessidade de testes dispendiosos com hardware real. A tecnologia vem da SceniX, adquirida pela World Labs em julho. O mecanismo funciona em duas etapas: primeiro, registra robôs, sensores, ambiente e demonstrações de tarefas para reconstruir um mundo virtual interativo que se comporta fisicamente como o original. A partir de uma única tarefa real, gera milhares de variações em iluminação, posições de objetos, propriedades físicas e perspectivas de câmera. Em seguida, os modelos de controle são treinados em simulação e transferidos para robôs reais. Os testes foram realizados na plataforma ALOHA e em outras quatro plataformas robóticas, onde os modelos operaram por uma hora sem intervenção humana. Os exemplos incluem roteamento de cabos, inserção da extremidade de um cabo elástico em um orifício e embalagem de caixas com as duas mãos. O sistema é agnóstico em relação ao modelo e pode ser reutilizado para novos modelos e robôs. A World Labs argumenta que o desenvolvimento de robôs está atrasado em relação aos modelos de linguagem porque a avaliação está vinculada a testes no mundo real; uma simulação robusta deve responder às mesmas perguntas sobre falhas e melhorias dos modelos. Eles testaram com uma tarefa de transferência de cubo com as duas mãos, onde a simulação reproduziu casos extremos e falhas. A classificação dos modelos (incluindo GR00T N1.6 e π₀.₅) permaneceu semelhante entre simulação e mundo real em 2.000 execuções simuladas e 100 reais por ponto de verificação. Isso permite que versões fracas sejam filtradas em simulação, economizando testes com hardware real para candidatos promissores. A World Labs posiciona o simulador como central em sua taxonomia de modelos de mundo, citando paralelos com a direção autônoma. O objetivo de longo prazo é expandir os mundos nos quais os robôs aprendem. A World Labs, fundada em 2024 por Fei-Fei Li, levantou um bilhão de dólares em capital de risco. O mecanismo R2S2R é a primeira aplicação concreta em robótica. A pesquisa contribui para o debate sobre modelos de mundo em robótica, distinguindo-os de geradores de vídeo e contrastando com outras abordagens, como os Modelos de Ação Mundial e o Orca da China.