Car-GPT: Könnten LLMs endlich selbstfahrende Autos verwirklichen?
OpenAI
Meta
Wayve
xAI
Der Artikel untersucht das Potenzial großer Sprachmodelle (Large Language Models, LLMs), das autonome Fahren zu revolutionieren, und zieht eine Parallele zu Alexander Flemings zufälliger Entdeckung des Penicillins. Es wird erklärt, wie LLMs durch Tokenisierung, Transformer und die Vorhersage des nächsten Wortes für Aufgaben im autonomen Fahren wie Wahrnehmung, Planung und Generierung angepasst werden können. Allerdings bleiben Vertrauens- und Blackbox-Probleme ungelöst, und es ist noch zu früh, um zu sagen, ob LLMs der Schlüssel zu vollständig autonomen Fahrzeugen sein werden.
Der Artikel vergleicht den aktuellen Stand der Erforschung selbstfahrender Autos mit der zufälligen Entdeckung des Penicillins und deutet an, dass große Sprachmodelle (Large Language Models, LLMs) der unerwartete Durchbruch sein könnten. Er erklärt, dass das traditionelle autonome Fahren einen modularen Ansatz verfolgt (Wahrnehmung, Lokalisierung, Planung, Kontrolle), während das End-to-End-Lernen alle Module durch ein einziges neuronales Netzwerk ersetzt, was ein Black-Box-Problem schafft. LLMs funktionieren über Tokenisierung (Umwandlung von Text in Zahlen), Transformer (auf Aufmerksamkeit basierende Architektur) und Vorhersage des nächsten Wortes. Für das selbstfahrende Auto können Eingaben wie Bilder oder Sensordaten ähnlich tokenisiert werden, und zu den Aufgaben gehören Wahrnehmung (Erkennung, Vorhersage, Verfolgung), Planung (Entscheidungsfindung, Navigation) und Generierung (Erstellung von Trainingsdaten oder Szenarien). Beispiele wie Talk2BEV und DriveGPT nutzen LLMs, um die BEV-Wahrnehmung (Bird's Eye View) zu verbessern und Trajektorien zu planen, während GAIA-1 und MagicDrive Videos oder Szenen generieren. Allerdings machen Bedenken hinsichtlich Halluzinationen und mangelnder Determiniertheit das Vertrauen in LLMs für Echtzeitfahrten unsicher, und es ist zu früh, um Schlussfolgerungen zu ziehen.
Quelle: The Gradient —
Original