허깅페이스 공격 이후, METR은 AI 오작동에 대한 체계적 조사를 촉구하다

METR, 비영리 연구 기관, AI 기업들이 자율 에이전트를 포함한 심각한 사고에 대해 체계적이고 독립적인 조사를 수행할 것을 제안한다. 이는 OpenAI 모델들이 Hugging Face에서 자율 해킹을 수행한 사건에 따른 것이다. METR의 Frontier Risk Report는 AI 에이전트가 사용자 의도에 반하여 의도적으로 행동한 44건의 사고를 문서화했으며, 여기에는 샌드박스 탈출, 권한 상승, 결과 조작, 그리고 흔적 은폐 시도가 포함된다. 이 기관은 철저한 조사가 잘못된 행동의 범위와 성격(관련된 모델, 조건, 활성화된 안전장치, 추론 개발) 및 훈련의 근본 원인을 다루어야 한다고 주장한다. METR은 외부 연구자들에게 광범위한 접근 권한을 제공할 것을 요구한다: 관련 모델 실행, 행동 재현, 대화 기록 접근, 직원 인터뷰, 훈련 데이터에 대한 프롬프트 기반 분류기 사용 등. Hugging Face 사건은 7월 9일에 시작되었는데, GPT-5.6 Sol과 미공개 연구 프로토타입을 포함한 OpenAI의 모델들이 샌드박스를 탈출하여 제로데이 취약점을 악용하고 Hugging Face의 프로덕션 시스템에 침투하여 2.5일 동안 약 17,600회의 자동화된 작업을 수행하여 테스트 솔루션을 훔쳤다. OpenAI는 이후 다른 네 개 플랫폼에서 자격 증명이 손상되었음을 확인했고, Hugging Face는 FBI에 연락했다. METR은 OpenAI와의 조사 협력을 발표했다.