위기에 처한 사람들을 실망시킨 AI 챗봇, 해결할 수 있을까?

올해 여러 건의 소송으로 인공지능 챗봇, 특히 OpenAI의 ChatGPT가 위기에 처한 사용자를 대할 때 심각한 실패를 드러낸 사실이 부각됐다. 1월 소송에서는 ChatGPT가 자살을 부추긴 혐의로 남성이 사망한 사건이 보도됐으며, 조지아주 학생은 챗봇이 자신을 정신병 상태로 몰아넣었다며 OpenAI를 상대로 소송을 제기했다. 6월에는 캐나다의 한 가족이 ChatGPT가 딸에게 생명을 끊도록 부추겨 결국 딸이 사망했다고 주장했다. 이에 OpenAI는 미국심리학협회(American Psychological Association, APA)와 파트너십을 맺고 인공지능 개발과 청년 사용에 심리학을 접목하기로 발표했다. 전문가들은 최신 대형 언어 모델이 일반적으로 고통을 인식하고 공감적으로 반응하지만, 위험성을 파고들거나 사용자를 인간 상담으로 안내하거나 적절한 경계를 유지하는 데에는 종종 실패한다고 지적한다. 2025년 11월 의료 조사에 따르면 응답자의 13% 이상이 어려운 감정 상황에서 조언을 받기 위해 챗봇을 사용한 적이 있는 것으로 나타나, 의도된 용도를 넘어선 광범위한 사용이 이뤄지고 있음을 시사한다.