GRASP: Nieuwe op gradienten gebaseerde planner voor langetermijnplanning in wereldmodellen
Berkeley Artificial Intelligence Research (BAIR)
Onderzoekers van BAIR introduceren GRASP, een op gradienten gebaseerde planner die uitdagingen aanpakt bij langetermijnplanning met geleerde wereldmodellen. Het tilt trajectoptimalisatie naar parallelle virtuele toestanden, introduceert stochasticiteit voor exploratie en hervormt gradienten om broze toestand-ingangsgradienten te vermijden.
GRASP is een nieuwe op gradiënten gebaseerde planner voor aangeleerde dynamica (wereldmodellen) die langetermijnplanning praktisch maakt door (1) het traject in virtuele toestanden te tillen, zodat optimalisatie parallel over de tijd verloopt, (2) stochastiek direct aan de toestandsiteraties toe te voegen voor exploratie, en (3) gradiënten te hervormen zodat acties schone signalen krijgen terwijl broze 'toestand-input'-gradiënten door hoogdimensionale visiemodellen worden vermeden. Grote aangeleerde wereldmodellen worden steeds capabeler, maar langetermijnplanning blijft kwetsbaar vanwege slecht geconditioneerde rekenkundige grafen, niet-gulzige landschappen met slechte lokale minima, en hoogdimensionale latente ruimten die subtiele faalmodi introduceren. De auteurs van BAIR, met Mike Rabbat, Aditi Krishnapriyan, Yann LeCun en Amir Bar, stellen GRASP voor om deze problemen aan te pakken. De planner bouwt een eerste-orde opgetilde toestandsbenadering die alleen afhankelijk is van actie-Jacobianen door het wereldmodel, waarbij differentieerbaarheid wordt benut terwijl gevoeligheid van toestands-Jacobianen wordt vermeden.
Bron: BAIR (Berkeley AI) —
origineel