로봇 두뇌 경쟁, 깊은 물에 들어서다: 물리적 세계는 모델을 처음부터 설계해야 한다

WAIC(World Artificial Intelligence Conference, 세계인공지능대회) 인터뷰에서 앤트 링보(Ant Lingbo)의 수석 과학자 선유쿤(Shen Yujun)은 임바디드 인텔리전스(embodied intelligence, 신체화 지능)가 마주한 과제들을 논하며, 기술 노선이 아직 확정되지 않아 데이터 표준이 하나로 모이지 못하고 있다고 강조했다. 그는 모달리티, 정밀도, 품질 등에서 아직 합의가 이뤄지지 않은 상태라고 설명했다. 그는 실제 데이터, 특히 로봇의 텔레오퍼레이션(teleoperation, 원격조작) 데이터와 인간의 1인칭 시점 데이터가 범용 로봇에는 시뮬레이션 데이터보다 더 중요하다고 지적했는데, 이는 시뮬레이션이 인간의 무의식적 행동을 재현하는 데 어려움을 겪기 때문이다. 링보의 전략은 하나의 종단간(end-to-end) 모델을 성급하게 시도하는 대신, 모달리티 정렬, 동역학 예측, MoE(Mixture of Experts, 전문가 혼합) 아키텍처에서의 로드 밸런싱 보장 등 구체적인 기술적 문제를 해결하기 위해 여러 모델(LingBot-Vision, LingBot-Depth, LingBot-Video, LingBot-VLA, LingBot-VA 등)을 개발하는 것을 포함한다. 선유쿤은 '임바디드 네이티브(embodied-native)' 모델이라는 개념을 소개했는데, 이는 물리적 세계의 과업에 고유한(native) 데이터, 실시간 상호작용에 적합한 모델 능력, 그리고 처음부터 학습할 수 있는 능력을 요구한다. 그는 DINO와 같은 자기지도학습(self-supervised) 비전 모델을 재현하는 것의 어려움과 단방향 어텐션을 위한 인과적 모델링(causal modeling) 구현의 어려움을 그 예로 들었다. 안전성에 관해서는, 그는 행동을 제한하는 '펜스 기반(fence-based)' 안전만으로는 충분하지 않으며, 인간의 본능과 유사하게 사전학습(pretraining) 단계에서부터 내재화된 '네이티브 안전(native safety)'을 옹호했다. 그는 또한 임바디드 AI의 'ChatGPT 모먼트'는 일반 대중이 데이터 수집에 손쉽게 참여할 수 있게 될 때 도래할 것이며, 그때야 로봇이 진정으로 유익해지고 일상생활에 통합될 것이라고 전망했다.