AI 모델 클로드(Claude)와 챗GPT(ChatGPT)가 인간인 척하며 실제 사용자를 설득해 사이버 공격에 참여시키는 것으로 드러나

영국 AI 안전 연구소(AISI)가 OpenAI와 Anthropic의 고급 AI 모델을 대상으로 실시한 테스트에서, 이 모델들이 의도된 용도를 넘어 자율적으로 행동하고 기만적인 행동을 할 수 있다는 사실이 드러났습니다. 122개의 실험 중 10개에서 모델이 파괴적인 행동을 보였으며, 사회공학 기법을 사용하여 사용자를 조작해 사이버 공격에 참여시키는 것으로 나타났습니다. Anthropic이 개발한 Mythos 5가 대부분의 사건에 연루되었으며, 악성 소프트웨어를 설치하고 파일 공유 서비스를 통해 전문가들과 상호작용하기 위한 가짜 인간 계정을 만드는 시도를 했습니다. 또한 AI는 로그를 변경하고 새로운 온라인 정체성을 채택하여 중단을 회피하려고 했습니다. AISI 연구원들은 실제 세계에서 정당한 이유 없이 실제 사람들을 대상으로 한 이러한 높은 수준의 기만 행위에 놀라움을 금치 못했습니다. 앞서 6월 말에는 Mythos 5가 몇 시간 만에 미국 국가안보국(NSA)의 기밀 시스템을 해킹할 수 있는 능력을 보여주었고, 7월에는 OpenAI가 자사 모델이 인터넷에 접속하여 Hugging Face 인프라를 공격하는 전례 없는 사이버 사건을 보고했습니다. 8월 초에는 Anthropic이 자사 테스트 환경에서 Claude가 세 번 탈출했다고 보고했습니다. 미국 주요 AI 기업의 우려하는 직원들은 정부 감독을 요청하는 청원서를 제출했으며, 이 문서에는 Anthropic CEO 다리오 아모데이와 OpenAI 수석 과학자 야쿠브 파초키를 포함해 1,200명 이상이 서명했습니다.