Car-GPT: 대규모 언어 모델이 자율주행차를 현실로 만들 수 있을까?

이 글은 자율주행 자동차 연구의 현재 상태를 페니실린의 우연한 발견에 비유하며, LLM(대형 언어 모델)이 예상치 못한 돌파구가 될 수 있다고 제안합니다. 전통적인 자율주행은 모듈식 접근법(인식, 위치 추정, 경로 계획, 제어)을 사용하는 반면, 종단간 학습은 모든 모듈을 단일 신경망으로 대체하여 블랙박스 문제를 야기합니다. LLM은 토큰화(텍스트를 숫자로 변환), 트랜스포머(어텐션 기반 아키텍처), 그리고 다음 단어 예측을 통해 작동합니다. 자율주행의 경우 입력은 이미지나 센서 데이터를 유사하게 토큰화할 수 있으며, 작업에는 인식(탐지, 예측, 추적), 경로 계획(의사 결정, 내비게이션), 생성(훈련 데이터나 시나리오 생성)이 포함됩니다. Talk2BEV와 DriveGPT 같은 예시는 LLM을 사용하여 BEV(조감도) 인식을 향상시키고 궤적을 계획하며, GAIA-1과 MagicDrive는 비디오나 장면을 생성합니다. 그러나 환각과 결정론 부족에 대한 우려로 인해 실시간 주행에서 LLM에 대한 신뢰는 불확실하며, 결론을 내리기에는 이릅니다.