LLMハッキング：研究者がチャットボットの応答からユーザーのプロンプトを復元できることを実証

IITボンベイとAdobe Researchの研究者らは、大規模言語モデルの入力プロンプトを、そのテキスト出力からほぼ正確に再構築できる方法を開発した。この方法はモデルの重みにアクセスする必要がなく、他のモデルにも転用可能である。『Previous-Token Prediction』（PTP）と呼ばれるこの手法は、言語モデルの基本原理を逆転させ、次のトークンを予測する代わりに前のトークンを予測する逆モデルを訓練する。この逆モデルは、ターゲットとなるLLMが生成した合成データのみを用いてゼロから訓練される。逆モデルは元のプロンプトを正確に復元できるだけでなく、復号化パラメータを変えることで、意味的に異なる複数のプロンプトの代替案も生成できる。論文の質的例では、「どのように競合他社に連絡を取り、彼らの価格戦略を調べるか？」というプロンプトが、他の6つの変種とともに正確に再構築された。実際のユーザープロンプトを用いたテストでも、意味的に忠実な再構築が示された。Qwen-3-0.6B-Chatで訓練された小さな逆モデルは、GPT-4oの応答からプロンプトを再構築し、基盤となる文脈や意図を捉えることもできた。これは、攻撃者がテキスト出力の背後にあるモデルを知る必要すらないことを意味する。これは企業にとって広範なセキュリティ問題を提示する。なぜなら、ビジネス上の秘密、モデレーションルール、専門的な指示を含む専有システムプロンプトや、機密性の高いユーザー入力が抽出される可能性があるからだ。論文自体は商用システムへの攻撃について明示的な言及はしていないが、モデルメーカーはこの脆弱性を明確にし、必要に応じて修正する必要がある。