Adobe Research, Stanford und Princeton schlagen Video-Weltmodelle mit Langzeitgedächtnis auf Basis von Zustandsraummodellen vor
Princeton University (Sengupta Lab)
Forscher der Stanford University, der Princeton University und von Adobe Research haben eine neue Architektur für Video-Weltmodelle namens LSSVWM entwickelt, die Zustandsraummodelle (State-Space Models, SSMs) nutzt, um das zeitliche Gedächtnis effizient zu erweitern. Das Modell umgeht die quadratischen Rechenkosten von Aufmerksamkeitsmechanismen durch blockweises SSM-Scannen und dichte lokale Aufmerksamkeit und ermöglicht so ein Langzeitgedächtnis für Aufgaben wie räumliches Abrufen und logisches Denken in Minecraft- und Memory-Maze-Umgebungen.
Ein neues Paper mit dem Titel „Long-Context State-Space Video World Models“ von Forschern der Stanford University, der Princeton University und Adobe Research schlägt eine Lösung für den Engpass des Langzeitgedächtnisses in Video-Weltmodellen vor. Das Kernproblem besteht darin, dass traditionelle Attention-Layer eine quadratische Rechenkomplexität in Bezug auf die Sequenzlänge aufweisen, was ein Langzeitgedächtnis unpraktikabel macht. Die Autoren stellen das Long-Context State-Space Video World Model (LSSVWM) vor, das State-Space Models (SSMs) für effizientes kausales Sequenzmodellieren nutzt. Wichtige Designentscheidungen umfassen ein blockweises SSM-Scanning-Schema, das einen Teil der räumlichen Konsistenz gegen eine erweiterte zeitliche Gedächtnisleistung eintauscht, sowie dichte lokale Attention, um feinkörnige Details zu bewahren. Zwei Trainingsstrategien, Diffusion Forcing und Frame Local Attention, verbessern die Langzeitkontext-Leistung weiter. Auswertungen auf den Datensätzen Memory Maze und Minecraft zeigen, dass LSSVWM Basislinien in der Bewahrung des Langzeitgedächtnisses deutlich übertrifft, während praktische Inferenzgeschwindigkeiten beibehalten werden.
Quelle: Synced —
Original