Car-GPT：LLMはついに自動運転を実現できるか？

この記事は、自動運転車研究の現状をペニシリンの偶然の発見と比較し、LLMが予期せぬブレークスルーになる可能性があると示唆しています。従来の自動運転はモジュール式アプローチ（認識、位置特定、計画、制御）を用いるのに対し、エンドツーエンド学習はすべてのモジュールを単一のニューラルネットワークで置き換え、ブラックボックス問題を生み出します。LLMはトークン化（テキストを数値に変換）、トランスフォーマー（アテンションベースのアーキテクチャ）、および次単語予測によって機能します。自動運転では、入力は画像やセンサーデータを同様にトークン化したものであり、タスクには認識（検出、予測、追跡）、計画（意思決定、経路生成）、および生成（訓練データやシナリオの作成）があります。Talk2BEVやDriveGPTのような例では、LLMを活用して鳥瞰図認識を強化し、軌道を計画する一方、GAIA-1やMagicDriveはビデオやシーンを生成します。しかし、幻覚や決定論の欠如に関する懸念から、リアルタイム運転におけるLLMへの信頼性は不確かであり、結論を下すには時期尚早です。