Adobe Research e cientistas de Stanford e Princeton propõem modelos mundiais de vídeo com memória de longo prazo baseados em Modelos Estado-Espaço
Pesquisadores da Adobe Research, Universidade de Stanford e Universidade de Princeton desenvolveram a arquitetura LSSVWM para modelos mundiais de vídeo que resolve o problema da memória de longo prazo. O modelo utiliza Modelos Estado-Espaço (SSMs) e um esquema de varredura por blocos, além de atenção local densa, para combinar eficiência com retenção de contexto. Experimentos nos conjuntos de dados Memory Maze e Minecraft mostraram melhora significativa na retenção de informações ao longo de longos intervalos de tempo.
Princeton University (Sengupta Lab)
Synced27.07 · 17:06