Prompt-injectie kan niet worden genezen door filters: hoe u onvertrouwde tekst isoleert met architectuurpatronen

Prompt-injectie is een structureel defect in grote taalmodellen waarbij onvertrouwde tekst als instructie wordt uitgevoerd. Filters en systeemprompts zijn niet effectief: zelfs de beste verdedigingen worden in 90% van de gevallen doorbroken bij adaptieve aanvallen. Werkende benaderingen—Dual-LLM, CaMeL en de Twee Meta-regel—bouwen isolatie op in plaats van te proberen goed van kwaad te onderscheiden.

OpenAI Anthropic Google DeepMind Microsoft

Safety and Alignment in the Era of Long-Running Models

OpenAI shares its experience deploying long-running AI models, highlighting new safety risks, observed failures, and improved protective measures due to iterative deployment.

OpenAI