Phần nhúng văn bản có mã hóa hoàn hảo văn bản không?

Bài báo thảo luận về sự phát triển của cơ sở dữ liệu vector cho các hệ thống RAG, sử dụng các embedding để biểu diễn văn bản. Embedding là các biểu diễn vector từ mạng nơ-ron, và chúng trông giống như các số ngẫu nhiên, khiến nhiều người cho rằng chúng an toàn. Tuy nhiên, bài báo "Text Embeddings Reveal As Much as Text" (EMNLP 2023) chứng minh rằng văn bản có thể được khôi phục từ các embedding. Các nhà nghiên cứu đã phát triển vec2text, một phương pháp tối ưu hóa lặp, sau 50 bước có thể khôi phục chính xác 92% các chuỗi 32 token và đạt điểm BLEU là 97. Điều này chứng tỏ rằng các embedding giữ lại gần như tất cả thông tin từ văn bản đầu vào, mâu thuẫn với giả định về tính an toàn. Bài báo cũng lưu ý rằng việc đảo ngược tương tự cũng có thể xảy ra trong thị giác máy tính và đặt ra câu hỏi về cách phòng thủ trước các cuộc tấn công như vậy cũng như mối quan hệ giữa độ dài văn bản và kích thước embedding.