保障生产环境中的AI智能体、MCP服务器与LLM应用安全:一套实用框架
Mend.io
Mend.io 发布了一份新的实践指南,旨在保障生产环境中的 AI 智能体、MCP 服务器和 LLM 应用安全。该指南围绕三个关键步骤(看清重点、更快修复重点、保护生产中的 AI)以及七个可复用的工件,提供了一个实用框架。它直面智能体 AI 特有的安全挑战,包括提示注入、过度授权的智能体和工具投毒等问题。
Mend.io 的新指南《保护 AI 代理、MCP 服务器和 LLM 应用:实用框架》旨在解决因代理、MCP 集成和 LLM 驱动的应用快速普及而造成的安全空白。传统的应用安全之所以失效,是因为代理行为源自模型、系统提示、检索上下文、用户输入和工具,而非仅仅源于代码,这导致了新的故障模式,如通过数据进行的提示注入、过度授权的代理、弃用的模型以及被投毒的工具描述。该指南介绍了一个涵盖交互层、代理层、集成层、模型层和代码层的五层攻击面地图,并提供了用于发现(如扫描代码库、审计服务账户)和修复(包括 12 点错误配置检查清单和优先级排序管道)的工件。对于运行时安全,它推荐将护栏作为应用内 Python 软件开发工具包(SDK)或独立应用程序接口(API)服务器,采用系统提示加固模式,并遵循 NIST AI RMF 和 OWASP AIMA 等标准。成熟度路线图包括从新兴到领先的四个阶段,并附有一个 15 题的自评。关键要点强调,代理行为源于多种因素,存在五个风险层,自动分诊应以证据为依据,而风险接受仍只能由人工决定。
来源: MarkTechPost —
原文
