GRASP: Uusi gradienttipohjainen suunnittelija pitkän aikavälin suunnitteluun maailmamalleissa

GRASP on uusi gradienttipohjainen suunnittelumenetelmä opituille dynamiikoille (maailmanmalleille), joka tekee pitkän aikavälin suunnittelusta käytännöllistä: (1) nostamalla liikeradan virtuaalitiloihin, jolloin optimointi on rinnakkaista ajan yli, (2) lisäämällä suoraan satunnaisuutta tilaiteraatioihin etsintää varten ja (3) muokkaamalla gradientteja siten, että toiminnot saavat selkeitä signaaleja välttäen hauraita 'tila-syöte'-gradientteja korkeadimensionaalisten näkömallien kautta. Suuret opitut maailmanmallit ovat yhä kyvykkäämpiä, mutta pitkän aikavälin suunnittelu on edelleen haurasta huonosti ehdollistettujen laskentagraafien, ei-ahneiden maisemien pahojen paikallisten minimien ja korkeadimensionaalisten latenttien tilojen aiheuttamien hienovaraisten vikatilojen vuoksi. Kirjoittajat BAIRista, yhdessä Mike Rabbatin, Aditi Krishnapriyanin, Yann LeCunin ja Amir Barin kanssa, ehdottavat GRASPia näiden ongelmien ratkaisemiseksi. Suunnittelumenetelmä rakentaa ensimmäisen kertaluvun nostetun tila-lähestymistavan, joka on riippuvainen vain toimintojen Jacobin matriiseista maailmanmallin läpi, hyödyntäen differentioituvuutta ja välttäen tilan Jacobin matriisien herkkyyttä.