क्या टेक्स्ट एम्बेडिंग टेक्स्ट को पूरी तरह से एनकोड करते हैं?

यह लेख RAG सिस्टम के लिए वेक्टर डेटाबेस के उदय पर चर्चा करता है, जो दस्तावेज़ों को दर्शाने के लिए एम्बेडिंग का उपयोग करते हैं। एम्बेडिंग न्यूरल नेटवर्क से प्राप्त वेक्टर निरूपण होते हैं, और वे यादृच्छिक संख्याओं की तरह दिखते हैं, जिससे कई लोग उन्हें सुरक्षित मानते हैं। हालांकि, पेपर 'टेक्स्ट एम्बेडिंग रिवील एज़ मच ऐज़ टेक्स्ट' (EMNLP 2023) दर्शाता है कि टेक्स्ट को एम्बेडिंग से पुनर्प्राप्त किया जा सकता है। शोधकर्ताओं ने vec2text नामक एक पुनरावृत्ति अनुकूलन विधि विकसित की, जो 50 चरणों के बाद 32-टोकन अनुक्रमों का 92% सटीकता से पुनर्प्राप्त कर लेती है और 97 का BLEU स्कोर प्राप्त करती है। यह साबित करता है कि एम्बेडिंग इनपुट टेक्स्ट की लगभग सभी जानकारी बनाए रखते हैं, जो सुरक्षा की धारणाओं का खंडन करता है। लेख यह भी नोट करता है कि कंप्यूटर विज़न में भी समान व्युत्क्रमण संभव है और ऐसे हमलों से बचाव के साथ-साथ टेक्स्ट की लंबाई और एम्बेडिंग आकार के बीच संबंध पर प्रश्न उठाता है।