MosaicLeaks: Vazamento de Dados por Agentes de IA de Pesquisa e o Método PA-DR para Preveni-lo
Agentes de pesquisa profunda que combinam documentos privados locais com ferramentas externas, como pesquisa na web, podem vazar informações confidenciais por meio de suas consultas. Um novo benchmark, MosaicLeaks, mede esse risco, e um método de treinamento chamado PA-DR reduz o vazamento de 34% para 9,9%, mantendo o desempenho das tarefas.
MosaicLeaks é um benchmark criado por pesquisadores para estudar vazamento de privacidade de agentes de pesquisa profunda que intercalam documentos locais privados e recuperação pública na web. Ele contém 1.001 cadeias de perguntas de múltiplos saltos, onde os agentes devem responder a perguntas que conectam informações privadas e públicas. Testes mostraram que os agentes frequentemente vazam dados privados por meio de suas consultas à web, e o treinamento apenas para desempenho na tarefa piorou o vazamento (de 34% para 51,7%). O método proposto chamado Pesquisa Profunda Ciente de Privacidade (PA-DR) combina uma recompensa situacional de tarefa com uma recompensa de privacidade aprendida, reduzindo o vazamento de informações completas/da resposta para 9,9%, enquanto mantém o sucesso estrito da cadeia em 58,7% (próximo dos 59,3% alcançados pelo treinamento focado apenas na tarefa). O PA-DR também melhora a eficiência amostral, exigindo 5 a 6 vezes menos amostras geradas para atingir o mesmo desempenho na tarefa em comparação com o aprendizado por reforço baseado apenas em resultado.
Fonte: Hugging Face blog —
original