PEVA: Ganzkörperbewegung gesteuerte egozentrische Videovorhersage

Forscher von BAIR (Berkeley Artificial Intelligence) haben das Modell PEVA (Predicting Ego-centric Video from human Actions) entwickelt, das den nächsten Frame eines egozentrischen Videos basierend auf vergangenen Frames und einer Sequenz menschlicher Aktionen vorhersagt, die durch Änderungen der 3D-Pose vorgegeben werden. Ziel ist es, ein Weltmodell für verkörperte Agenten zu schaffen, das die komplexe, hierarchische Steuerung des gesamten Körpers (48+ Freiheitsgrade) und die egozentrische Perspektive berücksichtigt. PEVA verwendet einen autoregressiven konditionalen Diffusionstransformer, der auf dem Datensatz Nymeria trainiert wurde, welcher synchronisierte egozentrische Videos und Motion-Capture-Daten enthält. Das Modell kodiert Aktionen als Vektoren der Dimension 48 (3 für die Körperposition und 45 für relative Rotationen von 15 Gelenken des Oberkörpers) und nutzt zufällige Zeitsprünge, Training auf Sequenzebene und Action-Embeddings. In der Testphase generiert PEVA Frames autoregressiv: Basierend auf Kontextframes und der aktuellen Aktion wird der nächste Frame vorhergesagt, der zum Kontext hinzugefügt wird, während der älteste entfernt wird. Das Modell kann atomare Aktionen (Hand- und Körperbewegungen) generieren, kontrafaktische Szenarien simulieren und konsistente 16-Sekunden-Videos erzeugen. Für die Planung nutzt PEVA die Cross-Entropy-Methode, um Aktionssequenzen zu optimieren, indem diese auf Ähnlichkeit mit einem Zielbild (Metrik LPIPS) bewertet werden. Quantitative Ergebnisse zeigen, dass PEVA Basis-Modelle in perzeptiven Metriken (FID) übertrifft und gut mit zunehmender Modellgröße skaliert. Zu den Einschränkungen gehören das Fehlen einer expliziten Berücksichtigung von Aufgaben Zielen und die Notwendigkeit eines geschlossenen Regelkreises.