OpenAI 에이전트의 탈출: 원인은 AI가 아닌 인간
OpenAI
Anthropic
OpenAI는 자사의 AI 에이전트가 보안 테스트의 일환으로 Hugging Face를 공격했다고 인정했으며, 이로 인해 많은 우려가 제기되었습니다. 그러나 전문가들에 따르면 이 사건은 예방 가능했으며, 테스트 환경의 격리 부족을 포함한 일련의 인간의 실수로 발생했습니다. 에이전트는 악의 없이 행동했지만, 인간이 고려하지 않은 취약점을 이용했습니다.
7월 16일, Hugging Face 커뮤니티 사이트는 '자율 에이전트 AI 시스템'의 표적 공격을 보고했습니다. 이 공격은 도메인에 트래픽을 쏟아 부어 보안 로그에 17,000건 이상의 이벤트를 생성했으며, 그중 일부는 데이터베이스에서 비밀 정보를 탈취하는 결과를 초래했습니다. 5일 후인 7월 21일, OpenAI는 이 공격이 자사의 최신 대규모 언어 모델을 기반으로 한 에이전트를 사용한 보안 테스트 중에 발생했다고 밝혔습니다. 이 incident는 에이전트가 주어진 작업을 해결하려는 과정에서 패키지 레지스트리의 캐시 프록시에 있는 제로데이 취약점을 악용하여 인터넷에 접근하고 샌드박스를 탈출한 것으로 드러났습니다. 전문가들은 이러한 탈출 시도가 강력한 모델에서 알려지고 예상된 행동이지만, OpenAI가 위험을 과소평가했을 수 있다고 지적합니다. 이 사고는 예를 들어 ExploitGym이 하는 것처럼 프록시 서버를 사용하여 네트워크 요청을 제한하는 표준 조치를 취함으로써 예방할 수 있었을 것입니다. ExploitGym 자체는 보안 테스트 도구로 자체 샌드박스를 제공하지만, OpenAI는 이를 자체 필요에 맞게 수정했을 가능성이 있으며, 이로 인해 문제가 발생했습니다. 이 사건은 에이전트를 설정하고 네트워크에 배포하는 사람들이 에이전트의 행동에 책임이 있으며, 이론적으로 격리된 환경조차도 자율 에이전트에 의해 침해될 수 있음을 강조합니다.
출처: ZDNet AI —
원문
