Injeção de Prompt Não Pode Ser Curada por Filtros: Como Isolar Texto Não Confiável Usando Padrões Arquiteturais

A injeção de prompt é um defeito estrutural em modelos de linguagem de grande porte onde texto não confiável é executado como uma instrução. Filtros e prompts de sistema são ineficazes: mesmo as melhores defesas são violadas em 90% dos casos sob ataques adaptativos. Abordagens funcionais — Dual-LLM, CaMeL e a regra Two Meta — constroem isolamento em vez de tentar distinguir o bem do mal.

OpenAI Anthropic Google DeepMind Microsoft

Segurança e Alinhamento na Era dos Modelos de Longa Duração

A OpenAI compartilha sua experiência na implantação de modelos de IA de longa duração, destacando novos riscos de segurança, falhas observadas e medidas de proteção aprimoradas devido à implantação iterativa.

OpenAI