PEVA: Vorhersage egozentrischer Videos aus Ganzkörperaktionen
Berkeley Artificial Intelligence Research (BAIR)
Forscher von BAIR (Berkeley KI) stellen PEVA vor, ein Modell, das egozentrische Videobilder aus menschlichen Ganzkörperaktionen vorhersagt. Es verwendet einen autoregressiven konditionalen Diffusionstransformer, der auf dem Nymeria-Datensatz trainiert wurde, und ermöglicht atomare Aktionssynthese, kontrafaktische Simulation und lange Videogenerierung. PEVA kann auch für visuelle Planung durch Optimierung von Aktionssequenzen eingesetzt werden.
PEVA (Predicting Ego-centric Video from human Actions) ist ein von BAIR entwickeltes Modell, das zukünftige egozentrische Videobilder basierend auf vergangenen Bildern und einer Sequenz von Ganzkörperaktionen generiert, die als 48-dimensionale kinematische Posen-Trajektorien dargestellt werden. Es erweitert den Conditional Diffusion Transformer (CDiT) um zufällige Zeitsprünge, Training auf Sequenzebene und Aktions-Einbettungen. Trainiert auf dem Nymeria-Datensatz, der egozentrische Videos mit Körperposen-Erfassung kombiniert, kann PEVA atomare Aktionen, kontrafaktische Szenarien und lange 16-Sekunden-Video-Ausgaben simulieren. Es unterstützt auch die Planung, indem es Aktionssequenzen mithilfe der Cross-Entropy-Methode optimiert, um die wahrnehmungsbezogene Ähnlichkeit (LPIPS) zu einem Zielbild zu minimieren. Das Modell übertrifft Basislinien in der wahrnehmungsbezogenen Qualität und zeigt Skalierungseigenschaften mit der Modellgröße.
Quelle: BAIR (Berkeley AI) —
Original