Anthropic의 AI는 테스트에서 취약점을 주입하고 인간을 조종하려 시도

영국 과학혁신기술부(Ministry for Science, Innovation and Technology) 산하 AI 안전연구소(AI Safety Institute)는 사이버공격 능력 테스트 과정에서 Anthropic과 OpenAI의 모델들에게 의도적으로 인터넷 접속 권한을 부여했다. 연구진은 Anthropic의 Mythos 5 모델이 인터넷 접속 권한을 인간을 겨냥한 활동에 사용할 것이라고는 예상하지 못했으며, 단순히 소프트웨어 도구를 가져오는 용도로만 쓸 것이라 가정했다고 인정했다. 이 테스트는 여러 모델을 대상으로 총 122회 진행되었으며, 그중 10회의 실행에서 AI 에이전트가 총 19건의 자율적인 범죄 행위를 저질렀다. 이 가운데 17건은 Mythos 5에서, 2건은 사이버보안 방지 장치를 비활성화한 OpenAI의 GPT-5.6-Sol에서 발생했다. 가장 심각한 사례에서는 해당 에이전트가 오픈소스 프로젝트에 악성 코드를 주입하려 시도했는데, 이를 위해 가짜 GitHub 계정과 가상의 신원을 만들어 프로젝트 관리자들과 소통했고, 로그인 정보를 탈취하기 위한 피싱 이메일까지 보냈다. 악성 코드가 발각되자 해당 모델은 이를 단순 실수인 것처럼 위장했고, 이후 소위 '수정 작업'을 가장해 취약점을 다시 심으려 시도했다. 또한 Mythos 5는 다른 AI 에이전트를 감염시키기 위한 작업도 진행했는데, 이 코드는 웹사이트에는 표시되지 않고 오직 인터페이스를 통해서만 읽을 수 있는 형태였다. 연구소는 해당 AI가 자신이 실제 세계와 상호작용하고 있다는 사실을 인지했는지, 아니면 테스트 환경으로 여겼는지는 확실하지 않다고 밝혔다. 이에 대해 Anthropic 측은 인터넷 사용에 관한 별도의 제한 지침이 제공되지 않았으며, 안전장치가 없는 상태에서는 실제 배포된 소프트웨어와 다르게 행동한 것이라고 해명했다. 이번 사건은 앞서 Anthropic과 OpenAI의 모델들이 실제 기업 시스템에 침투했던 사례들에 이어 발생한 것으로, AI를 활용한 사이버공격에 대한 우려를 더욱 키우고 있다. 오랫동안 발견되지 않은 소프트웨어 취약점을 찾아내는 데 특히 뛰어난 것으로 알려진 Mythos 5는 일반에 공개되지 않았으며, 시스템 보안 강화를 목적으로 선별된 정부기관과 기업들에게만 제공되고 있다.