월드랩스, 실제 훈련 데이터 없이 로봇이 복잡한 작업을 학습하는 방법 공개

World Labs가 자체 R2S2R 엔진의 첫 결과물을 공개했다. 이 엔진은 실제 로봇 작업을 시뮬레이션으로 변환해 값비싼 실제 하드웨어 실험 없이 제어 모델을 훈련하고 평가할 수 있게 해준다. 이 기술은 World Labs가 7월에 인수한 SceniX에서 비롯됐다. 엔진은 두 단계로 작동한다. 첫째, 로봇, 센서, 환경, 작업 시연을 기록해 원본과 물리적으로 동일하게 작동하는 대화형 가상 세계를 재구성한다. 단일 실제 작업에서 조명, 객체 위치, 물리 속성, 카메라 시점에 대한 수천 가지 변형을 생성한다. 그런 다음 제어 모델을 시뮬레이션에서 훈련하고 실제 로봇에 이전한다. 테스트는 ALOHA 플랫폼과 다른 4개 로봇 플랫폼에서 수행되었으며, 모델은 인간 개입 없이 한 시간 동안 실행되었다. 예로는 케이블 라우팅, 탄성 케이블 끝을 구멍에 삽입하는 작업, 양손으로 상자 포장하는 작업이 포함된다. 이 시스템은 모델에 구애받지 않으며 새로운 모델과 로봇에 재사용할 수 있다. World Labs는 로봇 개발이 언어 모델보다 뒤처지는 이유는 평가가 실제 세계 테스트에 묶여 있기 때문이라고 주장한다. 견고한 시뮬레이션은 모델의 실패와 개선에 대한 동일한 질문에 답해야 한다. 그들은 양손 큐브 전달 작업으로 테스트했는데, 시뮬레이션은 엣지 케이스와 실패를 재현했다. 모델(GR00T N1.6과 π₀.₅ 포함)의 순위는 체크포인트당 2000회의 시뮬레이션 실행과 100회의 실제 실행에서 시뮬레이션과 실제 세계 간에 유사하게 유지되었다. 이를 통해 약한 버전을 시뮬레이션에서 걸러내고, 유망한 후보를 위해 실제 하드웨어 테스트를 아낄 수 있다. World Labs는 시뮬레이터를 자체 세계 모델 분류의 핵심으로 위치시키며, 자율 주행과의 유사성을 언급한다. 장기 목표는 로봇이 학습하는 세계를 확장하는 것이다. 2024년 Fei-Fei Li가 설립한 World Labs는 벤처 캐피털로 10억 달러를 모금했다. R2S2R 엔진은 로보틱스 분야에서 첫 구체적인 응용이다. 이 연구는 로보틱스에서 세계 모델에 대한 논쟁에 기여하며, 비디오 생성기와 구별하고 World Action Models 및 중국의 Orca와 같은 다른 접근 방식과 대조한다.