PEVA: 전신 행동으로부터 자기 중심 비디오 예측

PEVA (Predicting Ego-centric Video from human Actions)는 BAIR에서 개발한 모델로, 과거 프레임과 48차원 운동학적 포즈 궤적으로 표현된 일련의 전신 동작을 조건으로 미래의 자기중심적(egocentric) 비디오 프레임을 생성합니다. 이 모델은 조건부 확산 트랜스포머(Conditional Diffusion Transformer, CDiT)를 확장하여 무작위 시간 건너뛰기, 시퀀스 수준 학습 및 동작 임베딩을 도입했습니다. 자기중심적 비디오와 신체 포즈 캡처를 쌍으로 구성한 Nymeria 데이터셋으로 훈련된 PEVA는 원자적 동작, 반사실적 상황, 그리고 최대 16초 길이의 비디오 롤아웃을 시뮬레이션할 수 있습니다. 또한, 목표 이미지에 대한 지각 유사도(LPIPS)를 최소화하기 위해 교차 엔트로피 방법을 사용하여 동작 시퀀스를 최적화함으로써 계획 기능을 지원합니다. 이 모델은 지각 품질에서 기준 모델보다 우수한 성능을 보이며, 모델 크기에 따른 스케일링 속성을 나타냅니다.