Adobe Research y científicos de Stanford y Princeton proponen modelos de mundo en video con memoria a largo plazo basados en Modelos de Espacio de Estados
Investigadores de Adobe Research, la Universidad de Stanford y la Universidad de Princeton han desarrollado la arquitectura LSSVWM para modelos de mundo en video que aborda el problema de la memoria a largo plazo. El modelo utiliza Modelos de Espacio de Estados (SSMs, por sus siglas en inglés) y un esquema de escaneo por bloques, además de atención local densa, para combinar eficiencia con retención de contexto. Experimentos en los conjuntos de datos Memory Maze y Minecraft mostraron una mejora significativa en la retención de información durante intervalos de tiempo prolongados.
Princeton University (Sengupta Lab)
Synced27.07 · 17:06