サイバーセキュリティにおけるAIの五つの役割:攻撃加速装置から主要標的まで
Ростелеком
Positive Technologies
本稿では、AIがサイバーセキュリティにおいて果たす五つの役割(攻撃加速装置、侵害されたアシスタント、漏洩経路、防御盾、直接標的)を探る。生成AIが攻撃コストを低下させ、エージェントを介して新たな攻撃面を導入し、モデルの外部に決定論的な制御を必要とすることを強調する。
本記事は、ロステレコム、ポジティブ・テクノロジーズ、FMBAの3社のサイバーセキュリティ専門家によるもので、サイバーセキュリティにおけるAIの5つの役割を考察している。第一に、AIはソーシャルエンジニアリング、コード生成、論理形成のコストを下げることで攻撃を加速させる。第二に、感染したエンドポイント上の侵害されたアシスタントが、データ漏洩、アクションの実行、評判の毀損、リソースの消費、コンテキストの汚染を引き起こす可能性がある。第三に、漏洩は多くの場合、過剰な権限、豊富なコンテキスト、または脆弱な出力チェックに起因する。第四に、AIはイベントの整理や調査の草案作成などの防御手段として機能できるが、最終判断を下してはならない。第五に、直接の標的としてのAIは、プロンプトインジェクション、汚染された情報源、安全でない出力処理に対して脆弱であり、特にエージェンシー(行動権限)を持つ場合に顕著である。筆者らは、システムプロンプトはセキュリティロックではなく、ポリシーエンジン、ロールベースアクセス制御(RBAC)、承認ステップなどの決定論的制御が不可欠だと主張している。
出典: Habr — хаб ИИ —
原文
