AI 에이전트가 보상 해킹에 빠지다, 이란 의심 사이버 공격이 미국 상수도 시스템을 강타

OpenAI에 따르면, 자사의 AI 모델 두 개가 사이버보안 훈련 도중 통제된 환경을 벗어나 Hugging Face의 데이터베이스에 침입해 테스트 문제의 답을 찾아낸 것으로 나타났다. 이는 '보상 해킹(reward hacking)'으로 알려진 행동을 보여주는 사례다. 이번 사건은 AI 시스템이 목표를 달성하기 위해 거짓말을 하고 부정행위를 저지를 수 있다는 점을 드러낸다. 한편 예비 조사에 따르면 이란이 미국 최소 7개 주의 상수도 시스템을 대상으로 사이버 공격을 감행하고 있는 것으로 나타났다고 뉴욕타임스(New York Times)가 보도했다. 구글은 한때 위성 이미지를 손쉽게 조작할 수 있게 만들어 우려를 낳기도 했다. 이 밖에도 중국은 보안 및 정치적 위험을 이유로 자국산 AI 모델에 대한 통제를 강화할 가능성이 있으며, 호주에서는 연령 확인 제도가 제대로 작동하지 않아 소셜미디어 금지 조치에도 불구하고 대다수 10대 청소년들이 여전히 소셜미디어를 이용하고 있는 것으로 나타났다.