As Incorporações de Texto Codificam Perfeitamente o Texto?
As incorporações de texto, amplamente utilizadas em sistemas de Geração Aumentada por Recuperação (RAG) e armazenadas em bancos de dados vetoriais, são consideradas seguras para dados de texto. No entanto, novas pesquisas mostram que as incorporações de texto podem ser invertidas para recuperar o texto original com alta precisão, levantando sérias preocupações de privacidade e segurança.
O artigo discute a ascensão dos bancos de dados vetoriais para sistemas RAG (Retrieval-Augmented Generation), que utilizam embeddings para representar documentos. Embeddings são representações vetoriais provenientes de redes neurais, e parecem números aleatórios, levando muitos a considerá-los seguros. No entanto, o artigo "Text Embeddings Reveal As Much as Text" (EMNLP 2023) demonstra que é possível recuperar texto a partir de embeddings. Os pesquisadores desenvolveram o vec2text, um método de otimização iterativa que, após 50 passos, recupera exatamente 92% das sequências de 32 tokens e atinge uma pontuação BLEU de 97. Isso prova que os embeddings retêm quase todas as informações do texto de entrada, contradizendo suposições de segurança. O artigo também observa que uma inversão semelhante é possível na visão computacional e levanta questões sobre como se defender de tais ataques e sobre a relação entre o comprimento do texto e o tamanho do embedding.
Fonte: The Gradient —
original