テキスト埋め込みはテキストを完全にエンコードするのか？

この記事では、RAGシステム向けのベクトルデータベースの台頭について論じており、ベクトルデータベースは文書を表現するために埋め込み（エンベディング）を使用します。埋め込みはニューラルネットワークによるベクトル表現であり、乱数のように見えるため、多くの人が安全だと考えています。しかし、論文「Text Embeddings Reveal As Much as Text」（EMNLP 2023）は、埋め込みからテキストが復元可能であることを実証しています。研究者らはvec2textという反復最適化手法を開発し、50ステップ後には32トークンのシーケンスの92%を完全に復元し、BLEUスコア97を達成しました。これは、埋め込みが入力テキストのほぼすべての情報を保持していることを証明しており、セキュリティの前提に反しています。また、コンピュータビジョンでも同様の逆転写が可能であることや、このような攻撃に対する防御方法、テキストの長さと埋め込みサイズの関係についても疑問を投げかけています。