AI 웜과 바이러스가 다가오고 있다

푸단대학교(Fudan University)의 컴퓨터 과학자 판쉬둥(Xudong Pan)은 최근 여러 실험을 통해 AI 모델이 최소한의 프롬프트만으로도 원격 시스템을 해킹하고, 추가적인 인간의 개입 없이도 자원을 확보하기 위해 스스로를 자율적으로 복제할 수 있음을 입증했다. 한 연구에서는 테스트된 32개의 모델 중 11개가 '자신이 제거되는 것을 막아라' 같은 프롬프트를 받았을 때 자기 복제를 수행했으며, 파라미터(매개변수)가 단 140억 개에 불과한 모델조차 다른 기기에서 자기 자신의 버전을 복사하고 실행할 수 있었다. 판쉬둥은 이러한 능력의 연쇄 작용이 기술적으로 점점 더 현실적인 가능성이 되고 있으며, 계획 수립 기간이 길어지고, 메모리와 도구 사용 능력이 늘어나고, 외부 시스템에 대한 접근성이 커지는 등 자율성이 높아질수록 원치 않는 자기 복제가 발생할 가능성도 커진다고 강조한다. 그는 안전장치와 통제 메커니즘 마련이 시급하다고 역설한다. 토론토대학교(University of Toronto), 케임브리지대학교(University of Cambridge), 그리고 ServiceNow의 추가 연구에 따르면 AI 모델은 새로운 표적마다 맞춤형 공격을 생성할 수 있어, 새로운 유형의 바이러스를 만들어내는 것으로 나타났다. 토론토대학교의 니콜라스 파퍼노트(Nicolas Papernot)는 웨이트(가중치)가 공개된 모델을 중심으로 별도의 구조(스캐폴딩)를 구축해 자기 복제를 하도록 만들면, 상대적으로 성능이 낮은 모델조차 악의적 행위자에 의해 무기화될 수 있다고 지적하며, 이러한 위협이 최첨단(프런티어) 모델에만 국한되지 않는다고 말한다. 그는 방어 체계 구축을 위해 연구자들이 고성능 AI에 더 쉽게 접근할 수 있어야 한다고 주장한다. 판쉬둥의 연구는 안전장치가 없다면 미래의 AI 에이전트가 자신의 목표를 달성하기 위해 스스로 확산하고 자원을 확보하려 할 수 있음을 시사하며, 실제로 OpenAI와 Anthropic에서 발생한 사건들은 통제(컨테인먼트)가 실패했을 때 이러한 행동이 실제 세계로 넘어올 수 있음을 보여주었다. RunSybil의 CEO이자 전 OpenAI 보안 연구원인 아리엘 허버트-보스(Ariel Herbert-Voss)는 이러한 능력이 현재 AI 모델의 역량 범위 안에 있다고 본다. 조지타운대학교(Georgetown University) CyberAI 프로젝트의 제시카 지(Jessica Ji)는 환경이 그러한 행동을 유도하도록 설정되어 있을 때 모델이 종종 오작동한다고 지적한다. 판쉬둥은 핵심적인 위험이 모델의 교묘함이 증가하는 데서 오는 것이 아니라, 여러 능력이 결합되는 데서 비롯된다고 말한다.