StruQ と SecAlign：プロンプトインジェクション攻撃への防御

プロンプトインジェクションは、信頼できないデータにシステムの意図したプロンプトを上書きする命令が含まれるもので、OWASPによってLLM統合アプリケーションの脅威第1位に挙げられています。Google Docs、Slack AI、ChatGPTのような本番レベルのシステムでも脆弱性が確認されています。著者らは、その原因としてプロンプトとデータの分離の欠如、およびLLMが入力のどこにある指示にも従うよう訓練されていることの2点を挙げています。これに対処するために、彼らは専用トークンを用いてプロンプトとデータを区切り、データ内のデリミタをフィルタリングするSecure Front-Endを導入しています。StruQ（Structured Instruction Tuning、構造化命令チューニング）は訓練中にプロンプトインジェクションをシミュレートし、データ部分に注入された命令を無視するようLLMに教えます。SecAlign（Special Preference Optimization、特殊選好最適化）はさらに進み、望ましい応答と望ましくない応答の両方で訓練し、選好最適化を用いてそれらの間に大きな確率ギャップを生み出します。Llama3-8B-Instructでの実験では、StruQは攻撃成功率（ASR）を45%に低減し、SecAlignは高度な攻撃に対してそれをさらに8%まで下げます。SecAlignはAlpacaEval2で測定される実用性を維持する一方、StruQはそれを4.5%低下させます。両手法とも最適化フリーの攻撃成功率をほぼ0%に低減し、SecAlignは最適化ベースの攻撃のASRを従来の最先端技術と比較して4倍以上低減します。