LLM 해킹: 연구진, 챗봇 응답에서 사용자 프롬프트 재구성 가능

IIT Bombay와 Adobe Research의 연구진이 대규모 언어 모델(large language model, LLM)의 텍스트 출력만으로 입력 프롬프트를 거의 정확하게 복원필 수 있는 방법을 개발했다. 이 방법은 모델 가중치에 접근하지 않고도 작동하며, 심지어 다른 모델에도 그대로 적용된다. 'Previous-Token Prediction'(PTP)이라 불리는 이 방법은 다음 토큰을 예측하는 대신 이전 토큰을 예측하도록 역모델을 학습시킴으로써 언어 모델의 기본 원리를 뒤집는다. 이 역모델은 대상 LLM이 생성한 합성 데이터만을 이용해 밑바닥부터 학습된다. 역모델은 원래 프롬프트를 정확히 복원할 수 있을 뿐 아니라, 디코딩 파라미터를 조정해 의미적으로 서로 다른 여러 프롬프트 대안을 생성할 수도 있다. 논문에 소개된 질적 사례에서는 'How to reach out to competitors to find their pricing strategies?'라는 프롬프트가 정확히 복원되었고, 여섯 가지 다른 변형도 함께 생성되었다. 실제 사용자 프롬프트를 대상으로 한 테스트에서도 의미적으로 충실한 복원이 확인되었다. Qwen-3-0.6B-Chat으로 학습된 작은 역모델도 GPT-4o의 응답에서 프롬프트를 복원하며 그 이면의 맥락과 의도를 포착필 수 있었는데, 이는 공격자가 텍스트 출력 뒤에 어떤 모델이 있는지조차 알 필요가 없다는 뜻이다. 이는 기업 입장에서 광범위한 보안 문제를 야기한다. 영업 비밀, 콘텐츠 조정 규칙, 전문화된 지침이 담긴 독자적인 시스템 프롬프트가 추출될 수 있고, 기밀에 해당하는 사용자 입력도 마찬가지이기 때문이다. 논문 자체는 상용 시스템에 대한 공격을 명시적으로 다루지 않지만, 모델 개발사들은 이 취약점을 규명하고 필요 시 해결책을 마련해야 할 것이다.