Исследователи Adobe, Стэнфорда и Принстона предлагают видеомировые модели с долговременной памятью на основе State-Space Models
Princeton University (Sengupta Lab)
Исследователи из Стэнфордского университета, Принстонского университета и Adobe Research разработали новую архитектуру видеомировых моделей LSSVWM, которая использует State-Space Models (SSM) для эффективного расширения временной памяти. Модель решает проблему квадратичной вычислительной сложности механизмов внимания, применяя блочное SSM-сканирование и плотное локальное внимание, что обеспечивает долговременную память для таких задач, как пространственный поиск и рассуждение в средах Minecraft и Memory Maze.
Новая статья «Глубококонтекстные пространственно-состоятельные видеомировые модели» (Long-Context State-Space Video World Models) от исследователей из Стэнфордского университета, Принстонского университета и Adobe Research предлагает решение проблемы узкого места долговременной памяти в видеомировых моделях. Основная проблема заключается в том, что традиционные слои внимания имеют квадратичную
Показать ещё ↓
Источник: Synced —
оригинал