PEVA : Prédire la vidéo égocentrique à partir des actions du corps entier

PEVA (Prediction de Vidéo Egocentrique à partir d'Actions Humaines) est un modèle développé par BAIR qui génère des images vidéo égocentriques futures conditionnées par des images passées et une séquence d'actions du corps entier représentées sous forme de trajectoires cinématiques de pose à 48 dimensions. Il étend le Transformateur de Diffusion Conditionnel (CDiT) avec des sauts temporels aléatoires, un entraînement au niveau de la séquence et des embeddings d'actions. Entraîné sur l'ensemble de données Nymeria, qui associe la vidéo égocentrique à la capture de pose corporelle, PEVA peut simuler des actions atomiques, des contrefactuels et de longs déroulements vidéo de 16 secondes. Il prend également en charge la planification en optimisant les séquences d'actions à l'aide de la méthode d'entropie croisée pour minimiser la similarité perceptuelle (LPIPS) avec une image cible. Le modèle surpasse les lignes de base en termes de qualité perceptuelle et présente des propriétés de mise à l'échelle avec la taille du modèle.