Sicherung von KI-Agenten, MCP-Servern und LLM-Apps in der Produktion: Ein praktischer Rahmen

Mend.io's neuer Leitfaden 'Securing AI agents, MCP servers & LLM apps: A practical framework' zielt auf die Sicherheitslücke ab, die durch die schnelle Einführung von Agenten, MCP-Integrationen und LLM-gestützten Anwendungen entstanden ist. Herkömmliches Application Security Testing (AppSec) versagt, weil das Verhalten von Agenten aus einem Modell, einem System-Prompt, abgerufenem Kontext, Benutzereingaben und Tools entsteht – nicht nur aus Code. Dies führt zu neuen Fehlermodi wie Prompt-Injection über Daten, überprivilegierten Agenten, veralteten Modellen und vergifteten Tool-Beschreibungen. Der Leitfaden führt eine Karte der Angriffsfläche in fünf Ebenen ein, die die Interaktions-, Agenten-, Integrations-, Modell- und Code-Ebene abdeckt, und liefert Artefakte für die Erkennung, wie das Scannen von Repositorys und die Prüfung von Dienstkonten, sowie für die Behebung, einschließlich einer 12-Punkte-Checkliste für Fehlkonfigurationen und einer Priorisierungspipeline. Für die Laufzeitsicherheit empfiehlt er Schutzmaßnahmen als In-App-Python-SDK oder eigenständigen API-Server, Muster zur Härtung von System-Prompts und die Ausrichtung an Standards wie dem NIST AI RMF und dem OWASP AIMA. Der Reifegrad-Roadmap umfasst vier Stufen von 'Emerging' bis 'Leading' mit einer Selbsteinschätzung mit 15 Fragen. Die wichtigsten Erkenntnisse betonen, dass das Verhalten von Agenten aus mehreren Faktoren entsteht, es fünf Risikoebenen gibt und die automatisierte Priorisierung evidenzbasiert sein sollte, während die Risikoakzeptanz dem Menschen vorbehalten bleibt.