Pesquisadores da Adobe, Stanford e Princeton Propõem Modelos de Mundo em Vídeo com Memória de Longo Prazo Baseados em Modelos de Espaço de Estados
Princeton University (Sengupta Lab)
Pesquisadores da Universidade Stanford, Universidade Princeton e Adobe Research desenvolveram uma nova arquitetura de modelo de mundo em vídeo chamada LSSVWM, que usa Modelos de Espaço de Estados (State-Space Models) para estender a memória temporal de forma eficiente. O modelo resolve o custo computacional quadrático dos mecanismos de atenção empregando varredura SSM por blocos e atenção local densa, permitindo memória de longo prazo para tarefas como recuperação espacial e raciocínio nos ambientes Minecraft e Memory Maze.
Um novo artigo intitulado "Modelos de Mundo de Vídeo no Espaço de Estados de Contexto Longo", de pesquisadores da Universidade de Stanford, da Universidade de Princeton e da Adobe Research, propõe uma solução para o gargalo de memória de longo prazo em modelos de mundo de vídeo. O problema central é que as camadas tradicionais de atenção têm complexidade computacional quadrática em relação ao comprimento da sequência, tornando a memória de longo prazo inviável. Os autores apresentam o Modelo de Mundo de Vídeo no Espaço de Estados de Contexto Longo (LSSVWM, na sigla em inglês), que utiliza Modelos de Espaço de Estados (SSMs) para modelagem causal eficiente de sequências. As principais escolhas de design incluem um esquema de varredura SSM em blocos que troca alguma consistência espacial por memória temporal estendida, e atenção local densa para manter detalhes finos. Duas estratégias de treinamento, ">Diffusion Forcing" e ">Frame Local Attention", melhoram ainda mais o desempenho em contextos longos. Avaliações nos conjuntos de dados Memory Maze e Minecraft mostram que o LSSVWM supera substancialmente as linhas de base na preservação da memória de longo prazo, mantendo velocidades de inferência práticas.
Fonte: Synced —
original