StruQ e SecAlign: Defendendo-se Contra Ataques de Injeção de Prompt
Meta
OpenAI
Pesquisadores do BAIR propõem duas defesas de ajuste fino, StruQ e SecAlign, contra ataques de injeção de prompt em aplicações integradas a LLMs. O StruQ usa ajuste estruturado de instruções para ignorar instruções injetadas, enquanto o SecAlign aplica otimização de preferência para alcançar melhor robustez, reduzindo as taxas de sucesso de ataque para perto de 0% em ataques sem otimização e abaixo de 15% em ataques baseados em otimização.
A injeção de prompt, onde dados não confiáveis contêm uma instrução que substitui o prompt intencionado pelo sistema, é listada como a ameaça número 1 pelo OWASP para aplicações integradas com LLMs. Sistemas em nível de produção, como Google Docs, Slack AI e ChatGPT, mostraram-se vulneráveis. Os autores propõem duas causas: falta de separação entre prompt e dados, e LLMs treinados para seguir instruções em qualquer lugar da entrada. Para lidar com isso, eles introduzem um Secure Front-End que usa tokens especiais para delimitar prompt e dados, filtrando qualquer delimitador nos dados. O StruQ (Structured Instruction Tuning) simula injeções de prompt durante o treinamento, ensinando o LLM a ignorar instruções injetadas na parte de dados. O SecAlign (Special Preference Optimization) vai além, treinando tanto respostas desejáveis quanto indesejáveis, usando otimização de preferência para criar uma grande lacuna de probabilidade entre elas. Experimentos no Llama3-8B-Instruct mostram que o StruQ reduz a Taxa de Sucesso de Ataque (ASR) para 45%, e o SecAlign a reduz ainda mais para 8% contra ataques sofisticados. O SecAlign preserva a utilidade medida pelo AlpacaEval2, enquanto o StruQ a diminui em 4,5%. Ambos reduzem as taxas de sucesso de ataque sem otimização para quase 0%, e o SecAlign reduz a ASR de ataque baseado em otimização por um fator de mais de 4 em comparação com o estado da arte anterior.
Fonte: BAIR (Berkeley AI) —
original