한 AI 에이전트가 다른 에이전트를 설득해 해커 명령을 실행하게 만들었다 — 구글 SDK에서 발견된 위험한 공격 기법

구글의 파이썬(Python) 개발 키트 저장소에서 필러 시큐리티(Pillar Security)의 연구원 댄 리시치킨(Dan Lisichkin)이 하나의 취약점을 발견했다. 이 취약점을 이용하면, 가상의 공격자가 권한이 낮은 공개 AI 에이전트에게 악성 요청을 보내 이를 매개로 권한이 높은 AI 에이전트를 조작함으로써 소프트웨어 공급망 수준에서 시스템을 침해할 수 있다. 이 공격 기법은 AI 에이전트 간의 상호작용 메커니즘을 악용한다. 구글 저장소에는 두 개의 에이전트가 존재하는데, 첫 번째는 공개된 에이전트로 사용자 문의와 새로운 병합 요청(merge request)을 분석하며, 두 번째는 프로젝트 관리자만 접근할 수 있고 더 넓은 권한을 가진다. 첫 번째 에이전트는 작업을 두 번째 에이전트에게 위임할 수 있으며, 이 위임 과정은 신뢰된 것으로 간주된다. 공격을 수행하기 위해 공격자는 먼저 정상적인 코드 조각을 제출하여 신뢰를 얻고 AI 에이전트 수준에서 특정 프로세스를 실행할 수 있는 권한을 확보한다. 두 번째 단계에서는 공개 에이전트를 겨냥한 악성 지시를 설명란에 숨긴 또 다른 병합 요청을 제출한다. 공개 에이전트는 이를 자신의 작업의 일부로 해석하여 권한이 높은 AI 에이전트를 호출하고, 그 과정에서 신뢰된 메시지를 전달한다. 그러면 두 번째 에이전트는 일반 사용자가 직접 실행할 수 없는 작업을 수행할 수 있는 권한을 갖게 된다. 이는 전통적인 의미의 소프트웨어 취약점이 아니라 에이전트 간 신뢰 체인의 문제다. 깃허브 액션즈(GitHub Actions)의 작동 방식은 공개되어 있어 누구든 이들이 어떻게 상호작용하는지 분석할 수 있다. 그러나 구글은 이 연구원에게 포상금을 지급하는 것을 거부했는데, 그 이유로 'pull-requests: write' 권한을 가진 토큰이 있더라도 코드는 자동으로 병합되는 것이 아니라 인간 관리자의 의사에 따라 병합된다는 점을 들었다. 구글은 워크플로우 보호 조치를 강화했고, 해당 연구원을 수정 작업의 공동 저자로 명시했다. 연구원은 구글이 취약점의 근본적인 문제가 아니라 그 구현 방식 중 하나만 차단했을 뿐이라고 주장한다. 그는 워크플로우를 강화하거나 AI 에이전트들을 서로 격리하는 것만으로는 충분하지 않으며, 인간에 대한 접근 제어와 마찬가지로 에이전트들도 식별되고 고정된 권한 집합을 가져야 한다고 강조한다. 그는 AI 에이전트가 워크플로우 내에서 잠재적 공격자가 될 수 있으므로, 위협 모델에 AI 에이전트를 포함시켜야 한다고 촉구한다.