Adobe Research et les scientifiques de Stanford et Princeton proposent des modèles de monde vidéo avec mémoire à long terme basés sur les modèles espace-état

Un nouvel article intitulé « Long-Context State-Space Video World Models », rédigé par des chercheurs de l'Université Stanford, de l'Université Princeton et d'Adobe Research, propose une solution au goulot d'étranglement de la mémoire à long terme dans les modèles de monde vidéo. Le problème fondamental est que les couches d'attention traditionnelles ont une complexité de calcul quadratique par rapport à la longueur de séquence, ce qui rend la mémoire à long terme impraticable. Les auteurs présentent le Long-Context State-Space Video World Model (LSSVWM), qui exploite les State-Space Models (SSM) pour un modèle de séquence causal efficace. Les choix de conception clés incluent un schéma de balayage SSM par blocs qui échange une certaine cohérence spatiale contre une mémoire temporelle étendue, et une attention locale dense pour préserver les détails fins. Deux stratégies d'entraînement, Diffusion Forcing et Frame Local Attention, améliorent encore les performances sur les longs contextes. Des évaluations sur les ensembles de données Memory Maze et Minecraft montrent que le LSSVWM surpasse largement les modèles de base en matière de préservation de la mémoire à long terme tout en maintenant des vitesses d'inférence pratiques.