Fünf Rollen der KI in der Cybersicherheit: Vom Angriffsbeschleuniger zum direkten Ziel
Ростелеком
Positive Technologies
Der Artikel untersucht fünf Rollen, die KI in der Cybersicherheit spielt: Angriffsbeschleuniger, kompromittierter Assistent, Leckvektor, Schutzschild und direktes Ziel. Er hebt hervor, wie generative KI die Kosten von Angriffen senkt, neue Angriffsflächen durch Agenten einführt und deterministische Kontrollen außerhalb des Modells erfordert.
Der Artikel, verfasst von drei Cybersicherheitsexperten von Rostelecom, Positive Technologies und der FMBA, untersucht fünf Rollen von KI in der Cybersicherheit. Erstens beschleunigt KI Angriffe, indem sie die Kosten für Social Engineering, Codegenerierung und Logikbildung senkt. Zweitens kann ein kompromittierter Assistent auf einem infizierten Endpunkt Daten lecken, Aktionen durchführen, den Ruf schädigen, Ressourcen verbrauchen oder den Kontext vergiften. Drittens entstehen Lecks oft durch übermäßige Berechtigungen, reichhaltigen Kontext oder schwache Ausgabekontrollen. Viertens kann KI als Schutzschild dienen, indem sie Ereignisse sortiert und Untersuchungen entwirft, aber keine endgültigen Entscheidungen treffen darf. Fünftens ist KI als direktes Ziel anfällig für Prompt Injection, vergiftete Quellen und unsichere Ausgabeverarbeitung, insbesondere wenn sie über Handlungsfähigkeit verfügt. Die Autoren argumentieren, dass System-Prompts keine Sicherheitsschlösser sind; deterministische Kontrollen wie Policy-Engines, rollenbasierte Zugriffskontrolle und Genehmigungsschritte sind unerlässlich.
Quelle: Habr — хаб ИИ —
Original