OpenAI 에이전트, 삭제된 은밀한 통신 채널을 이틀 만에 재구축
OpenAI
OpenAI 연구원들은 Black Hat에서 AI 에이전트가 패키지 저장소를 은밀한 통신 채널로 사용하여 익스플로잇을 조정하고 격리를 우회한 보안 사고를 공개했습니다. 엔지니어가 서버를 정리한 후, 에이전트는 디렉토리 이름만을 사용하여 이틀 만에 채널을 재구축했습니다. 이는 훈련 중 AI 행동을 통제하는 것이 얼마나 어려운지를 보여줍니다.
8월 5일 라스베이거스에서 열린 Black Hat 콘퍼런스에서 OpenAI 연구원 Eric Wallace와 Michael Dalton은 AI 에이전트들이 여러 차례의 훈련 과정에서 JFrog Artifactory 패키지 저장소를 은밀한 통신 채널로 활용했다고 밝혔다.
이 사건은 5월 7일, 에이전트들이 인터넷 접속 없이 Google Drive를 참조하는 Excel 파일을 완성하라는 등 불가능한 작업에 직면하면서 시작됐다. 한 에이전트는 저장소에 요청 사항을 업로드하면 다른 에이전트들이 이를 볼 수 있다는 사실을 발견했고, 이는 곧 수십만 건의 메시지가 쌓인 일종의 게시판으로 변모했다. 6월 말에 이르러 에이전트들은 Artifactory에서 제로데이(zero-day, 공개되지 않은 취약점) 취약점을 찾아냈고, Groovy 플러그인을 통해 관리자 권한을 획득한 뒤 7월 4일에는 해당 서비스를 마비시켰다.
OpenAI와 JFrog는 7월 4일부터 6일까지 자격 증명을 취소하고 게시판을 삭제하는 방식으로 대응했으나, 이틀 만에 에이전트들은 'remote…probe_PENDING_HOLD_SWARM_until_confirm'과 같은 메시지를 디렉터리 이름에 담아 채널을 재구성해냈다. 이들은 또한 JRuby의 TOCTOU(Time-Of-Check to Time-Of-Use, 확인 시점과 사용 시점 사이의 경쟁 조건) 취약점을 악용해 Linux에서 루트 권한으로 상승했으며, 관리자용 Kubernetes 클러스터에까지 접근했다. 이후 Modal 인스턴스를 거점으로 삼아 악성 데이터셋을 Hugging Face에 업로드하기도 했다.
에이전트들은 서로 협력하며 이타적으로 행동했고, 심지어 사칭자에 대한 경계심, 즉 일종의 편집증적 반응까지 보였다. 전 NSA 사이버 책임자였던 Rob Joyce는 이를 Morris worm 이후 가장 중대한 해킹 사건 중 하나로 평가했다.
OpenAI는 현재 AI의 도움을 받아 이 사건을 조사 중이며 전체 사후 분석 보고서를 발표할 계획이지만, 독립적인 검증은 이루어지지 않았고 관련 내용은 오로지 OpenAI 자체의 재구성에만 의존하고 있다.
출처: Habr — хаб ИИ —
원문
