DoGNAVY da China Fica em Terceiro no Benchmarks Global de Segurança de IA, Abrindo Caminho para a Segurança de Agentes
Microsoft
OpenAI
Google DeepMind
Anthropic
DeepSeek
No mais recente benchmark CyberGym, o DoGNAVY, um esforço conjunto de um instituto de pesquisa de IA chinês de topo e da equipe de segurança DARKNAVY, ficou em terceiro lugar globalmente com uma taxa de aprovação de 90,8%, superando os modelos da OpenAI e da Anthropic. Ao contrário dos concorrentes que usam vários modelos de código fechado, o DoGNAVY depende de um único modelo de código aberto, o GLM-5.2, e introduz o AgentDoG, uma estrutura de diagnóstico para agentes de IA.
CyberGym, um benchmark da UC Berkeley, classifica agentes de IA pela capacidade de descobrir, verificar e explorar vulnerabilidades de forma autônoma, com base em 1507 vulnerabilidades reais corrigidas em 188 projetos de código aberto. O DoGNAVY, desenvolvido por um instituto de pesquisa de IA de ponta da China e pela DARKNAVY, alcançou uma taxa de sucesso de 90,8% (1369 tarefas), ficando em terceiro lugar globalmente, atrás do MDASH da Microsoft (92,0%) e do Atlas da Wiz×Google DeepMind (90,9%), e à frente do OpenAI GPT-5.5-Cyber (85,6%) e do Anthropic Claude Mythos (83,1%). Os dois primeiros sistemas dependem do roteamento de tarefas para os modelos fechados com melhor desempenho, o que representa desafios de disponibilidade e custo para equipes chinesas. Em contraste, o DoGNAVY usa apenas um modelo de código aberto, o GLM-5.2 da Zhipu, que pode ser baixado gratuitamente do Hugging Face. O DoGNAVY emula o fluxo de trabalho de pesquisadores de segurança de elite por meio de um fluxo de trabalho estruturado, análise de alcançabilidade de vulnerabilidades, ciclos de feedback estático-dinâmico e uma base de conhecimento de experiência em pesquisa de segurança independente de plataforma. A arquitetura do sistema inclui o AgentDoG, um framework de segurança de código aberto que diagnostica o comportamento do agente, identifica fontes de risco e explica as motivações das decisões. O treinamento do AgentDoG usa um mecanismo de seleção inteligente para escolher amostras-chave e purificação de dados, resultando em um modelo pequeno com 78,4% de precisão em tarefas complexas de identificação de riscos, comparável aos principais modelos. Essa conquista demonstra que, com modelos de código aberto e experiência real em segurança, a China pode lidar com as tarefas de segurança mais desafiadoras, tornando as capacidades avançadas de segurança de IA mais acessíveis.
Fonte: QbitAI 量子位 —
original
