中国のDoGNAVY、グローバルAIセキュリティベンチマークで3位にランクイン、エージェント安全性への道を開く
Microsoft
OpenAI
Google DeepMind
Anthropic
DeepSeek
最新のCyberGymベンチマークでは、中国のトップAI研究機関とセキュリティチームDARKNAVYが共同で取り組むDoGNAVYが、90.8%の合格率で世界第3位にランクインし、OpenAIやAnthropicのモデルを上回りました。競合他社が複数のクローズドソースモデルを使用する中、DoGNAVYは単一のオープンソースモデルGLM-5.2に依存しており、AIエージェント向け診断フレームワークAgentDoGを導入しています。
CyberGymは、UC Berkeleyのベンチマークであり、AIエージェントが188のオープンソースプロジェクトにおける1507件の実世界の修正済み脆弱性から、自律的に脆弱性を発見、検証、悪用する能力をランク付けします。中国のトップAI研究機関とDARKNAVYが開発したDoGNAVYは、パス率90.8%(1369タスク)を達成し、MicrosoftのMDASH(92.0%)とWiz×Google DeepMindのAtlas(90.9%)に次いで世界第3位、OpenAI GPT-5.5-Cyber(85.6%)やAnthropic Claude Mythos(83.1%)を上回りました。上位2つのシステムは、タスクを最も性能の高いクローズドソースモデルにルーティングすることに依存しており、中国のチームにとっては可用性とコストの課題があります。対照的に、DoGNAVYは、智譜(Zhipu)のGLM-5.2という単一のオープンソースモデルのみを使用しており、Hugging Faceから自由にダウンロードできます。DoGNAVYは、構造化されたワークフロー、脆弱性到達可能性分析、静的・動的フィードバックループ、およびプラットフォームに依存しないセキュリティ研究経験の知識ベースを通じて、エリートセキュリティ研究者のワークフローをエミュレートします。このシステムのアーキテクチャには、エージェントの動作を診断し、リスク源を特定し、決定の動機を説明するオープンソースのセキュリティフレームワークであるAgentDoGが含まれています。AgentDoGのトレーニングでは、スマートな選択メカニズムを使用して重要なサンプルとデータの浄化を選択し、複雑なリスク識別タスクで78.4%の精度を持つ小さなモデルを実現し、トップモデルに匹敵します。この成果は、オープンソースモデルと実世界のセキュリティ専門知識があれば、中国が最も困難なセキュリティタスクを処理できることを示しており、高度なAIセキュリティ機能をより利用しやすくします。
出典: QbitAI 量子位 —
原文
