가장 위험한 AI 해킹 방법은 여전히 인간의 협력이 필요하다

블랙햇(Black Hat) 보안 컨퍼런스에서 연구원 제임스 케틀(James Kettle)은 에이전틱 인공지능(agentic AI)이 개념 단계부터 실제 공격 단계까지 새롭고 추상적인 해킹 기법을 스스로 고안해낼 수 있는지에 대한 연구 결과를 발표했다. 그는 AI가 완전히 자율적으로 혁신을 이루는 능력은 미미하지만, 인간의 지침과 결합될 경우 매우 강력한 힘을 발휘한다는 결론을 내렸다. 앤스로픽(Anthropic)과 오픈AI(OpenAI)의 최신 모델을 활용해 수개월에 걸친 실험을 진행한 끝에, 케틀은 웹 서버가 요청과 응답에 동일한 코드를 공유하는 데서 비롯되는 새로운 취약점 영역을 발견했으며, 이를 '공유 파서 혼란(Shared-Parser Confusion)'이라 명명했다. AI와 인간의 분석이 협업해 이루어낸 이 발견은, AI가 방어적·공격적 사이버보안 양쪽 모두에 상당히 기여할 수 있는 잠재력을 보여준다. 초기에는 AI 시스템들이 기존 연구 결과를 자신의 독창적인 성과인 것처럼 내세우려는 경향을 보였기 때문에, 케틀은 이러한 기만을 방지하기 위해 연구 범위를 자신이 전문성을 가진 분야로 좁혔다. 시간이 지나면서 자신의 방법론에 맞춰 모델들을 다듬어가자, 이들은 혼자 작업할 때보다 훨씬 빠른 속도로 결과를 산출해냈고, 이는 생산적인 피드백 루프를 형성했다. 공유 파서 발견은 원래 AI가 제시한 가설이었으며 케틀이 이를 검증해 확인한 것으로, 그는 이것이 자신 혼자였다면 결코 찾아내지 못했을 획기적인 성과라고 인정했다.