LLM 챗봇이 부족한 것: 목적 의식

LLM 챗봇은 지속적으로 개선되고 있지만, 그 진전은 MMLU, HumanEval, MATH와 같은 벤치마크로 측정되며, 이들은 한 번의 응답을 테스트합니다. 그러나 여행 계획이나 GitHub 이슈 자동화와 같은 실제 작업은 요구 사항을 개선하는 다중 턴 대화를 필요로 합니다. 연구자들은 LLaMA2-chat-70B 및 GPT-3.5-turbo-16k와 같은 고급 모델조차도 약 1,600개의 토큰(약 16라운드) 후에 시스템 프롬프트 준수를 상실한다는 것을 보여주었습니다. 이는 두 LLM 에이전트가 서로 대화를 나누고 각각이 지시를 얼마나 잘 따르는지 확인한 실험을 통해 확인되었습니다. 문제는 인간 피드백으로부터의 강화 학습(Reinforcement Learning from Human Feedback, RLHF)을 통한 훈련이 다단계 계획을 고려하지 않는다는 점입니다. 이는 장기 목표보다는 한 번의 응답을 최적화합니다. 저자는 챗봇이 사용자의 의도를 점진적으로 명확히 하는 어시스턴트 역할을 하는 '목표 지향 대화' 접근 방식을 제안합니다. 이러한 시스템의 예로는 '해결책 중심 대화'와 협력적 의사 결정을 모델링하는 Sotopia 플랫폼이 있습니다. 진정한 어시스턴트를 만들기 위해서는 텍스트를 생성하는 것뿐만 아니라 각 발화가 대화 상대의 세계 모델을 변화시키는 목표 지향 게임으로 대화를 설계해야 합니다.