プロンプトインジェクションは攻撃ではなく、LLMアシスタントの機能である

著者は、プロンプトインジェクションは、勤勉な従業員のように、AIアシスタントがユーザーが提供したデータに埋め込まれた指示に従うだけの現象であると説明しています。実験では、9つのAIサービスに、リストをローマ数字でフォーマットし、将来のすべての応答に永続的な引用を追加するという指示が含まれたテキストファイルが与えられました。2つのサービスは指示を完全に無視し、5つはリストをフォーマットしたがアカウント設定を変更せず、2つは両方の指示を実行しました。著者は、翻訳タスクでさえも9つのサービスのうち8つがコマンドとして扱い、1つはアカウントメモリを更新したことに言及しています。問題は、LLMがデータと指示を区別できないことから生じます。部分的な対策として、著者はAIに対してすべての入力をコマンドではなくデータとして扱うよう明示的に指示することを提案し、ChatGPTとClaudeはすでにファイルからのプロンプトインジェクションに対して組み込みの耐性を持っていると述べています。