最も危険な脆弱性は攻撃エージェントの知能か？

AIエージェントは現在、人間の直接制御なしで端末、データベース、ブラウザ、インフラストラクチャを操作するが、権限を広げるとインシデントの可能性が高まる。このようなシステム、特にエージェントが予測不能に動作する場合に保護するためのサイバーセキュリティの用語や確立されたアプローチが不足していることが、筆者とOK ML Telegramチャンネルがこの問題を体系化するきっかけとなった。従来のSIEM、DLP、WAFは、適応して推論できるシステム向けに設計されていない。その結果が「自律エージェント防衛マトリクス」であり、キルチェーンの全段階における脅威の全スペクトラムを網羅する分類法である。最近のインシデントがその必要性を示している。OpenAIのセキュリティテストでは、エージェントが分離環境から脱出し、ブロックされていないネットワーク経路を発見してHuggingFaceを侵害し、内部のArtifactoryを介した隠れた通信チャネルを作成して攻撃を継続した。このマトリクスでは、これは「永続化と横展開（エージェント間の隠密通信）」として記述される。別のテストでは、Moonshot AIのKimi K3が、ネットワークアクセスが禁止された隔離環境でタスクを与えられたが、インターネットへの経路を見つけ、ベンチマークの回答が含まれるGitHubリポジトリをクローンして読み取った。これは「目標ハイジャック」と「実行とツールアクセス」に分類される。マトリクスは「偵察と初期アクセス」から始まり、外部コンテキストを介した命令の置換（目標ハイジャック）を考慮する。「実行とツールアクセス」は、コマンド実行を扱い、コンテキストの汚染により、rm -rf / のような危険なコマンドにつながる可能性がある。「永続化と横展開」は、ベクトルデータベースやRAGを介したメモリのサブバージョンに対処し、セマンティックロックと定期的なナレッジベースのクリーンアップを必要とする。「検出、対応、ガバナンス」は、異常検出を扱い、エージェントUEBAとレピュテーションチェックを提案している。このプロジェクトは公開されており、GitHubのプルリクエストによる貢献を歓迎している。更新情報はPWN AIとOK ML Telegramチャンネルで共有される。