텍스트 임베딩이 텍스트를 완벽하게 인코딩할까?
텍스트 임베딩은 검색 증강 생성(RAG) 시스템에서 널리 사용되며 벡터 데이터베이스에 저장되어 텍스트 데이터를 안전하게 보호하는 것으로 여겨집니다. 그러나 새로운 연구에 따르면 텍스트 임베딩이 역전되어 원본 텍스트를 높은 정확도로 복원할 수 있어 심각한 개인정보 보호 및 보안 문제를 제기합니다.
이 기사는 RAG 시스템을 위한 벡터 데이터베이스의 부상에 대해 다루며, 문서를 표현하기 위해 임베딩을 사용합니다. 임베딩은 신경망에서 생성된 벡터 표현이며 무작위 숫자처럼 보이기 때문에 많은 사람들이 이를 안전하다고 간주합니다. 그러나 논문 "텍스트 임베딩은 텍스트만큼 많은 정보를 드러낸다"(EMNLP 2023, Empirical Methods in Natural Language Processing)는 임베딩에서 텍스트를 복원할 수 있음을 보여줍니다. 연구진은 vec2text이라는 반복 최적화 방법을 개발했으며, 50단계 후에 32토큰 시퀀스의 92%를 정확히 복원하고 BLEU(Bilingual Evaluation Understudy) 점수 97을 달성했습니다. 이는 임베딩이 입력 텍스트의 거의 모든 정보를 보유하며, 보안에 대한 가정과 모순됨을 증명합니다. 기사는 컴퓨터 비전에서도 유사한 역전환이 가능하며, 이러한 공격을 방어하는 방법과 텍스트 길이와 임베딩 크기 간의 관계에 대한 의문을 제기합니다.
출처: The Gradient —
원문