1Password 연구, AI가 소프트웨어 결함 패치의 74%를 제대로 수정하지 못한다고 경고

1Password의 보안 연구팀 Off-By-1-Labs는 소프트웨어 취약점 패치에 있어 AI 모델의 효과를 테스트하는 연구를 발표했습니다. 팀은 최첨단 AI 모델이 약 67%의 패치 성공률을 달성할 것이라고 가정했지만, 결과는 사용 가능한 패치가 단 26%에 불과해 상당히 낮았습니다. 연구자들은 오픈소스 소프트웨어에서 최근 공개된 6개의 취약점을 선택하여 Claude 및 OpenAI의 Codex를 기반으로 한 LLM과 같은 모델을 테스트했습니다. 모델은 다양한 조건과 프롬프트에서 총 6,080개의 패치 시도를 생성했습니다. 연구 결과에 따르면 패치의 21%는 버그를 수정했지만 애플리케이션 동작을 변경했으며, 시도의 53.9%는 실패하거나 새로운 버그를 도입하거나 둘 다에 해당했습니다. 팀은 이러한 결함이 포함된 패치 유사 산출물에 대해 'FLAWED'라는 용어를 만들었으며, AI가 생성한 패치가 종종 작동하는 것처럼 보이지만 취약점을 완전히 해결하지 못하고 새로운 문제를 일으킬 수 있음을 강조했습니다. 1Password는 추가 연구를 위해 FLAWED 도구를 GitHub에 공개했습니다. Off-by-1 Labs의 책임자인 Keith Hoodlet은 인간의 감독이 가장 중요하며 AI는 취약점 분류 작업에 사용되어 방어자가 영향력이 큰 버그를 우선 처리하도록 돕는 데 사용되어야 한다고 강조했습니다. 이 연구는 AI가 아직 자율 패치에 준비되지 않았지만 사이버 방어에 도움이 될 수 있음을 시사합니다.