GRASP: Neuer gradientenbasierter Planer für langfristige Planung in Weltmodellen
Berkeley Artificial Intelligence Research (BAIR)
Forscher des BAIR schlagen GRASP vor, einen gradientenbasierten Planer, der Herausforderungen bei der langfristigen Planung mit gelernten Weltmodellen bewältigt. Er hebt die Trajektorienoptimierung auf parallele virtuelle Zustände, führt Stochasticity zur Exploration ein und formt Gradienten um, um spröde Zustands-Eingabe-Gradienten zu vermeiden.
GRASP ist ein neuer gradientenbasierter Planer für gelernte Dynamiken (Weltmodelle), der langfristige Planung praktikabel macht, indem er (1) die Trajektorie in virtuelle Zustände anhebt, sodass die Optimierung zeitlich parallel verläuft, (2) Stochastizität direkt zu den Zustandsiterationen für Exploration hinzufügt und (3) Gradienten so umformt, dass Aktionen klare Signale erhalten, während brüchige „Zustands-Eingabe“-Gradienten durch hochdimensionale Bildmodelle vermieden werden. Große gelernte Weltmodelle werden zunehmend leistungsfähiger, aber langfristige Planung bleibt aufgrund schlecht konditionierter Berechnungsgraphen, nicht-gieriger Landschaften mit schlechten lokalen Minima und hochdimensionalen latenten Räumen, die subtile Fehlermodi einführen, fragil. Die Autoren von BAIR, mit Mike Rabbat, Aditi Krishnapriyan, Yann LeCun und Amir Bar, schlagen GRASP vor, um diese Probleme zu lösen. Der Planer verwendet einen lifted-Ansatz erster Ordnung, der nur von Aktions-Jacobianen durch das Weltmodell abhängt, und nutzt Differenzierbarkeit, während die Empfindlichkeit von Zustands-Jacobianen vermieden wird.
Quelle: BAIR (Berkeley AI) —
Original