Adobe Research, Stanfordin ja Princetonin tutkijat ehdottavat pitkäkestoiseen muistiin perustuvia videomaailman malleja tila-avaruusmallien avulla
Princeton University (Sengupta Lab)
Tutkijat Adobe Researchista, Stanfordin yliopistosta ja Princetonin yliopistosta ovat kehittäneet LSSVWM-arkkitehtuurin videomaailman malleille, joka ratkaisee pitkäkestoisen muistin ongelman. Malli käyttää tila-avaruusmalleja (State-Space Models, SSM) ja lohkokohtaista skannausta sekä tiivistä paikallista huomiota yhdistääkseen tehokkuuden ja kontekstin säilyttämisen. Kokeet Memory Maze- ja Minecraft-tietoaineistoilla osoittivat merkittävää parannusta tiedon säilyttämisessä pitkien aikavälien yli.
Videomaailman mallit, jotka ennustavat tulevia kuvia toimintojen perusteella, ovat lupaavia tekoälylle, koska ne antavat agenteille mahdollisuuden suunnitella ja päätellä dynaamisessa ympäristössä. Niiden keskeinen heikkous on kuitenkin rajallinen pitkäaikaismuisti, joka johtuu attention-mekanismien neliöllisestä laskennallisesta monimutkaisuudesta pitkiä sekvenssejä käsiteltäessä. Uudessa työssä Stanfordin yliopiston, Princetonin yliopiston ja Adobe Researchin tutkijat esittävät Long-Context State-Space Video World Model (LSSVWM) -arkkitehtuurin, joka käyttää State-Space Models (SSM) -malleja tehokkaaseen kausaaliseen sekvenssimallinnukseen. Perusajatus on lohkopohjainen SSM-skannausmenetelmä: sekvenssi jaetaan lohkoihin, joiden välillä siirretään pakattua tilaa, mikä pidentää mallin muistia. Tilallisen koherenssin menetyksen kompensoimiseksi käytetään tiheää paikallista huomiota, joka varmistaa vierekkäisten kehysten yhtenäisyyden. Lisäksi on otettu käyttöön kaksi oppimisstrategiaa: diffuusiopakottaminen kuvien generoimiseksi minimaalisella alkukontekstilla ja kehyspaikallinen huomio oppimisen ja näytteenoton nopeuttamiseksi FlexAttentionin avulla. Mallia arvioitiin Memory Maze- ja Minecraft-tietojoukoilla, jotka on suunniteltu testaamaan pitkäaikaismuistia. LSSVWM ylitti selvästi perusmenetelmät (mukaan lukien Mamba2) koherenssin ja tarkkuuden säilyttämisessä pitkillä aikahorisonteilla samalla, kun se säilytti käytännöllisen päättelynopeuden. Tulokset on esitelty arXiv-julkaisussa.
Lähde: Synced —
Alkuperäinen