휴머노이드가 움직이는 물체를 잡지 못하는 이유: 동적 환경을 위한 VLA 개발

오늘날 대부분의 로봇 시연은 조명이 안정적이고 카메라가 고정된 정적 환경에서 이루어지며, 이때 비전-언어-행동(VLA) 모델이 좋은 성능을 보입니다. 하지만 실제 작업은 컨베이어 벨트 위의 물건처럼 움직이는 물체를 포함하는 경우가 많습니다. 전신 휴머노이드 로봇이 움직이는 물체와 상호작용할 때는 보행과 균형 유지도 필요하므로, 동작 계산이 더 복잡해집니다. 주요 과제로는 관찰과 행동 사이의 지연, 오래된 행동 청크, 단일 이미지로 물체 속도를 알 수 없다는 점 등이 있습니다. DynamicVLA와 같은 최신 모델은 행동 업데이트 빈도를 높이고 타이밍을 고려하여 이러한 문제를 해결합니다. 휴머노이드의 경우 팔 움직임이 몸통 균형에 영향을 미치므로 전신 제어가 필수적입니다. RLDX-1 아키텍처는 여러 정보 스트림(동작, 메모리, 물리, 행동)을 처리하여 동적 조작을 개선합니다. MTS 웹 서비스(MTS Web Services)에서 저자는 유니트리 G1(Unitree G1) 휴머노이드를 제어하기 위해 RLDX-1을 적용하여 컨베이어 물체를 전신 동적으로 잡는 작업을 관찰, 예측, 차단, 실행, 확인, 수정의 폐루프로 다루고 있습니다.