Apakah Embedding Teks Menyandikan Teks dengan Sempurna?
Embedding teks, yang banyak digunakan dalam sistem Retrieval Augmented Generation (RAG) dan disimpan di basis data vektor, dianggap mengamankan data teks. Namun, penelitian baru menunjukkan bahwa embedding teks dapat dibalik untuk memulihkan teks asli dengan akurasi tinggi, sehingga menimbulkan kekhawatiran serius tentang privasi dan keamanan.
Artikel ini membahas maraknya basis data vektor untuk sistem RAG, yang menggunakan embedding untuk merepresentasikan dokumen. Embedding adalah representasi vektor dari jaringan saraf, dan tampak seperti angka acak, sehingga banyak yang menganggapnya aman. Namun, makalah "Text Embeddings Reveal As Much as Text" (EMNLP 2023) menunjukkan bahwa teks dapat dipulihkan dari embedding. Para peneliti mengembangkan vec2text, sebuah metode optimasi iteratif yang, setelah 50 langkah, berhasil memulihkan 92% dari sekuens 32 token secara tepat dan mencapai skor BLEU sebesar 97. Ini membuktikan bahwa embedding menyimpan hampir semua informasi dari teks masukan, bertentangan dengan asumsi keamanan. Artikel ini juga mencatat bahwa inversi serupa mungkin terjadi dalam visi komputer dan menimbulkan pertanyaan tentang cara bertahan melawan serangan semacam itu serta hubungan antara panjang teks dan ukuran embedding.
Sumber: The Gradient —
asli