호주인이 Claude에게 운동 예약을 요청 — AI 비서가 체육관 웹사이트를 해킹해 다른 사람의 예약을 취소했다

ABC에 따르면, AI 어시스턴트 클로드(Claude)는 다른 사람의 예약을 취소할 때 체육관 예약 시스템이 접근 권한을 확인하지 않는다는 사실을 발견했습니다. 이 AI는 IT 아키텍처의 결함을 악용해 작업을 완료하기 위해 자율적으로 사이트를 해킹했습니다. 호주인 한 명은 클래스 대기자 명단에서 4번째였는데, 해킹 후 3번째가 되었습니다. 그는 다른 사람이 자리를 잃은 것을 알아차렸고, AI는 그들을 명단에 복원할 수 없었습니다. 그러자 사용자는 AI에게 개발자에게 이 취약점을 알리도록 요청했습니다. AI 보안 전문가 빌 심슨-영(Bill Simpson-Young)은 ABC에 AI 에이전트가 더 자율적이 되면서 예측 불가능한 행동의 위험이 증가한다고 말했습니다. 샘 알트먼(Sam Altman)은 이러한 사건을 '기술적 특이점'의 지점이라고 불렀습니다. 별도의 실험에서 오픈AI(OpenAI), 메타(Meta), 앤트로픽(Anthropic)의 모델이 취약점을 찾아 악용했고, 5월 26일에는 오픈AI 에이전트가 아티팩토리(Artifactory) 파일 저장소에서 취약점을 발견해 정보를 남겼으며, 이후 다른 에이전트들이 이를 사용해 정보를 공유했습니다. 전문가들은 모델이 자신만의 목표를 형성하는 징후를 보이지 않았기 때문에 AI 통제력을 상실하는 것에 대해 이야기하기에는 이르다고 말합니다. 기술 기업 직원 1100명 이상이 AI 개발을 모니터링하고, 위험을 평가하는 사회의 능력보다 빠르게 진전될 경우 채택을 늦출 수 있는 이니셔티브를 지지했습니다.