PEVA: предсказание эгоцентричного видео на основе движений всего тела
Исследователи из BAIR (Berkeley AI) представили модель PEVA (Predicting Ego-centric Video from human Actions), которая генерирует следующее видео с точки зрения первого лица на основе прошлых кадров и последовательности действий человека, заданных через изменения 3D-позы. Модель использует авторегрессионный условный диффузионный трансформер, обученный на наборе данных Nymeria, и способна предсказывать атомарные действия, имитировать контрфактические сценарии и поддерживать генерацию длинных видео до 16 секунд. PEVA также может использоваться для планирования, оценивая различные последовательности действий по сходству с целевым изображением.
Berkeley Artificial Intelligence Research (BAIR)
BAIR (Berkeley AI)27.07 · 17:05