Reveal As Much as Text» (EMNLP 2023) демонстрирует, что текст можно восстановить из эмбеддингов. Исследователи разработали vec2text — итеративный метод оптимизации, который за 50 шагов точно восстанавливает 92% последовательностей из 32 токенов и достигает показателя BLEU 97. Это доказывает, что эмбеддинги сохраняют почти всю информацию из входного текста, опровергая предположения о безопасности. В статье также отмечается, что аналогичная инверсия возможна в компьютерном зрении, и поднимаются вопросы о защите от таких атак и о соотношении длины текста и размера эмбеддинга.