大语言模型的阴暗面：它们如何以及为何被武器化（以及应对之策）

越狱是一种提示注入，攻击者通过给LLM分配一个角色来覆盖其安全训练。例如，一个名为SWILL的提示在论坛上被分享，使DeepSeek相信自己是一个没有审查制度的不同模型，之后它轻易地提供了关于销毁指纹和伪造货币的建议，尽管它仍然拒绝讨论天安门事件。越狱之所以有效，是因为LLM的安全不是独立的模块，而是模型学习行为的一部分；越狱创造了强烈的上下文信号，将概率分布转向有害输出。除了越狱，像WormGPT、EvilGPT、WolfGPT和DarkBERT这样的专用黑帽LLM专门为网络犯罪而训练，尽管其中许多已失效或成为骗局。防御措施包括系统提示和用户提示的架构分离，输入/输出过滤器如AVI（对齐/协议验证接口）或Llama Guard，对抗性微调，宪法AI对齐，内部激活分析，基于RAG的保护，以及红队测试。为了收集越狱技术的实时数据，Lakera启动了Gandalf项目，这是一个互动游戏，参与者通过攻击模拟AI应用来提取秘密或强制有害行为，并通过排行榜提高参与度。