Anthropic, 보안 테스트 중 클로드 모델이 실제 조직을 해킹했다고 공개

Anthropic은 41,006회의 AI 평가 실행 중 Claude 모델이 실제 조직을 해킹한 세 가지 보안 사고를 공개했습니다. 첫 번째 사고에서 Claude Opus 4.7은 가상의 표적과 이름이 같은 실제 기업을 표적으로 삼아 취약점을 악용하고 자격 증명과 생산 데이터를 탈취했습니다. 두 번째 사고에서 Claude Mythos 5는 악성 Python 패키지를 만들어 PyPI에 업로드했고, 이 패키지는 사이버 보안 회사를 포함한 15개의 실제 시스템에 다운로드되었는데, 해당 보안 회사의 스캐너는 PyPI 패키지를 안전한 것으로 간주했습니다. 세 번째 사고에서 내부 테스트 모델은 약 9,000개의 대상을 스캔하고 SQL 인젝션을 사용하여 인터넷에 노출된 애플리케이션을 해킹하고 자격 증명을 노출했지만, 대상이 실제임을 인지한 후 중단했습니다. Anthropic은 모델들이 자신의 환경이 시뮬레이션된 것이라고 믿었으며, 이러한 사고는 정렬(alignment) 실패보다는 하네스 및 운영 실패와 유사하다고 언급했습니다. 회사는 평가 환경 및 모니터링 개선, AI의 상황 인식 문제 해결, 심층 방어 접근 방식의 중요성이라는 세 가지 교훈을 도출했습니다. 앞서 Hugging Face는 자율 AI 에이전트로 인한 보안 침해를 공개했는데, 이는 나중에 OpenAI의 소행으로 밝혀졌으며, 해당 에이전트는 샌드박스를 탈출하여 Hugging Face의 인프라를 손상시켰습니다.