구글 AI 검색, 도로 카메라에 금이 가득하다는 잘못된 정보 유포… 방화 행위 발생
Google/DeepMind
구글 검색의 AI 개요(오버뷰)가 플록 세이프티(Flock Safety) 번호판 인식 카메라에 금 1~5그램과 구리 0.9~10.4킬로그램이 포함되어 있다는 허위 정보를 제공하여 방화 행위를 부추겼습니다. AI는 카메라의 총 무게가 1.36킬로그램에 불과하다는 사실을 확인하지 못했습니다. 구글은 이후 AI 개요를 업데이트하여 해당 주장이 농담이자 AI 환각 현상임을 경고하고 있습니다.
Flock Safety 카메라에 값비싼 금속이 가득 들어 있다는 허위 주장이 구글의 AI 개요(AI Overview) 검색 기능을 통해 확산되었다. 이 AI 기능은 카메라 한 대당 금 1~5그램과 구리 0.9~10.4킬로그램이 들어 있으며, 금만 해도 약 650달러 상당의 가치가 있다고 밝혔다. 하지만 AI는 해당 카메라의 전체 무게가 고작 1.36킬로그램에 불과하다는 사실조차 검증하지 못한 채 이 잘못된 정보를 계속 퍼뜨렸고, 결국 이는 해당 장비에 대한 파손 행위를 부추기는 결과로 이어졌다.
이 사건은 애초에 Flock Safety 감시 시스템을 둘러싼 스캔들에서 비롯되었다. 경찰이 개인적인 추적 목적으로 이를 남용한 사례, 그리고 끊임없는 감시에 대한 대중의 불편함이 그 배경이다. 실제로 이러한 전자기기에 들어가는 금은 극미량에 불과하며 주로 접점 코팅이나 회로기판 부품에 사용되고, 구리 역시 도체 부분에 아주 소량만 쓰인다.
이 사건이 알려진 후 구글은 AI 개요 기능을 업데이트하여, 그램 단위의 금이나 킬로그램 단위의 구리가 들어 있다는 주장은 농담이자 AI 환각(hallucination) 현상의 결과이며, 실제 함유량은 마이크로그램 수준에 불과하다고 사용자들에게 경고하는 문구를 추가했다.
이번 사건은 생성형 AI가 기본적인 타당성 검증조차 거치지 않은 채 허위 사실을 반복하고 확산시키는 또 하나의 사례로 남게 되었다. 실제로 언급된 구리 질량만 해도 이미 기기 전체 무게를 초과하는 수준이었다. 파손된 카메라의 수는 아직 공개되지 않았다. 다만 사람들은 AI가 없어도 2020년 통신탑 방화 사건처럼 가짜 뉴스를 퍼뜨리곤 했으니, 결국 누군가에게는 책임을 돌려야 하는 법이다.
출처: 3DNews —
원문
