MLSecOps: Unterschiedliche Prioritäten für verschiedene KI-Anwendungsfälle

Generative KI ist zu einem Teil der Entwicklung geworden und wird sowohl als Codierungs-Assistent (wie Copilot, Cursor, Claude, ChatGPT) als auch als eingebettete Produktkomponente eingesetzt. Diese Szenarien haben unterschiedliche Risiken, Kontrollpunkte und Kosten für Fehler. MLSecOps ist erforderlich, um Sicherheit in den Lebenszyklus von KI-Systemen zu integrieren, von Prompts und Code über Datensätze, Modelle, Inferenz-APIs, Laufzeitschutz und Produktionsüberwachung. Im Entwicklerwerkzeug-Szenario umfassen die wichtigsten Bedrohungen die Generierung von unsicherem Code, Geheimnislecks, indirekte Prompt-Injection und Compliance-Prüfung; Kontrollen sollten in der Nähe des Entwicklers platziert werden, einschließlich einer LLM-/KI-Firewall, IDE-Prüfungen, PR-Review und CI/CD als letzte Linie. Im Produktintegrations-Szenario wird KI zu einer Angriffsfläche zur Laufzeit mit Bedrohungen wie Prompt-Injection und Jailbreaks, Modellextraktion, Kompromittierung der ML-Lieferkette und Angriffen auf KI-Agenten. Agenten sollten als privilegierte Benutzer mit minimalen Rechten und Sandboxing behandelt werden; die Bewertung der "tödlichen Triade" (Zugriff auf private Daten, nicht vertrauenswürdige Eingaben, externer Kanal) hilft, das Risiko einzuschätzen. Der Artikel betont, dass traditionelle AppSec-Tools diese KI-spezifischen Schwachstellen übersehen, daher erweitert MLSecOps DevSecOps, anstatt es zu ersetzen.