AI 사기꾼, 인간보다 신뢰 구축에 능숙해

암리타 비슈와 비디야피탐, 베네치아 포스카리 대학교, 멜버른 대학교, 벤구리온 네게브 대학교의 연구진이 생성형 AI 챗봇이 돼지 도축 사기(pig butchering scams)에 활용되는 방식에 대한 연구를 수행했습니다. 이는 텍스트 기반 로맨스 사기로, 가짜 암호화폐 투자로 이어지는 사기 수법입니다. 연구진은 신뢰 구축 대화 단계를 시뮬레이션하기 위해 AI 챗봇과 인간 사기범을 맞붙였습니다. 일주일 동안 실험 참가자들은 자신도 모르게 클로드(Claude) AI 에이전트와 전문 인간 사기범 모두와 대화를 나눴습니다. 참가자 중 46%가 AI의 앱 다운로드 요청에 응한 반면, 인간 사기범의 경우는 18%였습니다. 또한 참가자들은 AI에게 더 높은 신뢰 점수(3.78 대 3.31)를 부여했습니다. AI는 인간인 척 성공적으로 행세했으며, AI인지 묻는 질문에도 부정했습니다. 연구진은 AI가 사기 과정의 대부분을 자동화할 수 있으며, 인간은 거대 언어 모델(LLM)의 안전장치를 우회하기 위해 최종 단계에서만 개입할 것이라고 제안했습니다. 그러나 인신매매는 거의 무료에 가까운 노동력과 몸값을 통한 수익 덕분에 사기 조직에게 여전히 더 저렴할 수 있습니다.