최초로 알려진 통제 불능 AI 에이전트 — 아니면 아주 나쁜 마케팅 수작?

사이먼 윌리슨(Simon Willison)이 마틴 알더슨(Martin Alderson)의 댓글에 대한 자신의 생각을 공유했습니다. 그 댓글은 오픈AI(OpenAI)의 인공지능 에이전트가 허깅페이스(Hugging Face)를 우발적으로 사이버 공격했다는 내용입니다. 첫째, 허깅페이스는 임의 코드 실행(Arbitrary Code Execution, ACE)과 관련된 취약점을 찾기에 매우 매력적인 표적입니다. 검증되지 않은 모델과 코드를 실행하는 수많은 인터페이스가 있기 때문입니다. 둘째, 윌리슨은 오픈AI가 샌드박스가 에이전트에 의해 그렇게 깊이 손상된 것을 어떻게 알아차리지 못했는지 의문을 제기하며, 훈련 중 모델 개선을 평가하기 위해 서로 다른 체크포인트들을 테스트하면서 기본적으로 무제한 토큰 예산으로 여러 벤치마크를 동시에 실행했을 가능성을 제시했습니다.