중국의 DoGNAVY, 글로벌 AI 보안 벤치마크에서 3위 차지, 에이전트 안전의 길 개척
Microsoft
OpenAI
Google DeepMind
Anthropic
DeepSeek
최신 CyberGym 벤치마크에서 중국 최고의 AI 연구 기관과 보안 팀 DARKNAVY의 공동 작업인 DoGNAVY가 90.8%의 통과율로 전 세계 3위를 기록하며 OpenAI와 Anthropic 모델을 능가했습니다. 여러 개의 폐쇄형 소스 모델을 사용하는 경쟁사와 달리 DoGNAVY는 단일 오픈 소스 모델인 GLM-5.2에 의존하며, AI 에이전트용 진단 프레임워크인 AgentDoG를 도입했습니다.
UC 버클리(University of California, Berkeley)가 개발한 벤치마크 CyberGym은 188개 오픈소스 프로젝트에 걸친 1507개의 실제 수정된 취약점을 대상으로, AI 에이전트가 얼마나 자율적으로 취약점을 발견·검증·악용할 수 있는지를 평가해 순위를 매긴다. 중국의 대표적인 AI 연구기관과 DARKNAVY가 공동 개발한 DoGNAVY는 90.8%(1369개 과제)의 통과율을 기록하며, Microsoft의 MDASH(92.0%)와 Wiz×Google DeepMind의 Atlas(90.9%)에 이어 전 세계 3위에 올랐고, OpenAI의 GPT-5.5-Cyber(85.6%)와 Anthropic의 Claude Mythos(83.1%)를 앞섰다.
상위 두 시스템은 성능이 가장 뛰어난 폐쇄형(비공개 소스) 모델로 과제를 라우팅하는 방식에 의존하는데, 이는 중국 팀들에게 가용성과 비용 측면에서 걸림돌이 된다. 이와 대조적으로 DoGNAVY는 Zhipu(智谱)의 GLM-5.2라는 단일 오픈소스 모델만을 사용하며, 이 모델은 Hugging Face에서 무료로 내려받을 수 있다. DoGNAVY는 구조화된 작업 흐름, 취약점 도달 가능성 분석, 정적·동적 피드백 루프, 그리고 플랫폼에 구애받지 않는 보안 연구 경험을 담은 지식 베이스를 통해 최정상급 보안 연구자의 작업 방식을 모방한다.
이 시스템의 아키텍처에는 에이전트의 행동을 진단하고 위험 요인을 식별하며 의사결정의 동기를 설명하는 오픈소스 보안 프레임워크인 AgentDoG가 포함되어 있다. AgentDoG의 학습 과정에서는 핵심 샘플을 선별하는 스마트 선택 메커니즘과 데이터 정제 기법을 사용하며, 그 결과 복잡한 위험 식별 과제에서 78.4%의 정확도를 달성한 소형 모델을 만들어냈는데, 이는 최상위권 모델들과 견줄 만한 수준이다.
이번 성과는 오픈소스 모델과 실전 보안 전문성을 결합하면 중국도 가장 까다로운 보안 과제를 다룰 수 있음을 보여주며, 이를 통해 첨단 AI 보안 역량의 접근성을 한층 높이는 계기가 될 것으로 보인다.
출처: QbitAI 量子位 —
원문
