Текстовые эмбеддинги можно полностью восстановить обратно в текст
Cornell Tech
Исследователи из Cornell Tech показали, что текстовые эмбеддинги, используемые в RAG-системах, можно практически идеально инвертировать, восстановив исходный текст. Метод vec2text позволяет с точностью 97% BLEU восстанавливать короткие тексты (до 32 токенов) по их векторным представлениям, что ставит под сомнение безопасность хранения данных только в виде эмбеддингов.
С ростом популярности генеративного ИИ многие компании внедряют RAG-системы, которые хранят документы в векторных базах данных и используют эмбеддинги для поиска релевантных фрагментов. Эмбеддинги – это векторные представления текста, получаемые с помощью нейросетей. В работе Text Embeddings Reveal As Much as Text (EMNLP 2023) группа исследователей под руководством Джека Морриса из Cornell Tech показала, что такие эмбеддинги можно инвертировать, то есть восстановить исходный текст. Авторы разработали метод vec2text, основанный на итеративной коррекции гипотезы. Сначала обучается модель, которая по эмбеддингу генерирует черновой текст (BLEU ~30). Затем модель-корректор, используя разницу между эмбеддингом гипотезы и истинным эмбеддингом, шаг за шагом улучшает результат. После 50 шагов удаётся восстановить 92% последовательностей из 32 токенов с точностью exact match, а BLEU достигает 97, что означает почти полное совпадение. Работа поднимает вопросы безопасности: если злоумышленник получит доступ к векторной базе, он сможет восстановить конфиденциальные тексты. Авторы также отмечают, что метод может быть обобщён на другие модальности, а также ставят задачу создания защищённых эмбеддингов, которые остаются полезными, но необратимыми.
- Сокращения
- RAG = Retrieval Augmented Generation — генерация с дополнением по поиску
- BLEU = Bilingual Evaluation Understudy — двуязычный оценочный суфлёр (метрика качества машинного перевода)
- EMNLP = Empirical Methods in Natural Language Processing — эмпирические методы в обработке естественного языка
- CNN = Convolutional Neural Network — свёрточная нейронная сеть
Источник: The Gradient —
оригинал