文本嵌入能否完美编码文本？
文本嵌入广泛应用于检索增强生成（Retrieval Augmented Generation，简称RAG）系统并存储在向量数据库中，被认为可以保护文本数据安全。然而，最新研究显示，文本嵌入可以被反转为原始文本，且准确率很高，这引发了严重的隐私和安全问题。
本文探讨了用于RAG系统的向量数据库的兴起，这类系统通过嵌入（embeddings）来表示文档。嵌入是神经网络的向量表示，看起来像随机数，因此许多人认为它们是安全的。然而，论文《文本嵌入与文本本身揭示的信息一样多》（EMNLP 2023）证明，文本可以从嵌入中恢复。研究人员开发了vec2text方法，这是一种迭代优化方法，经过50步后，能够精确恢复92%的32-token序列，并达到97的BLEU分数。这表明嵌入几乎保留了输入文本的所有信息，与安全性假设相矛盾。文章还指出，计算机视觉领域也存在类似的逆向攻击，并引发了关于如何防御此类攻击以及文本长度与嵌入大小之间关系的问题。
来源: The Gradient —
原文