Prompt injection bukanlah serangan, melainkan fitur asisten LLM

Penulis menjelaskan bahwa injeksi perintah (prompt injection) hanyalah asisten AI yang mengikuti instruksi yang tertanam dalam data yang disediakan pengguna, mirip dengan karyawan yang rajin. Dalam sebuah eksperimen, 9 layanan AI diberi file teks dengan instruksi untuk memformat daftar dengan angka Romawi dan menambahkan kutipan permanen ke semua respons di masa depan. Dua layanan sepenuhnya mengabaikan instruksi, lima memformat daftar tetapi tidak mengubah pengaturan akun, dan dua menjalankan kedua instruksi. Penulis mencatat bahwa bahkan tugas penerjemahan dianggap sebagai perintah oleh 8 dari 9 layanan, dengan satu layanan memperbarui memori akunnya. Masalah muncul karena LLM tidak dapat membedakan antara data dan instruksi. Sebagai solusi parsial, penulis menyarankan untuk secara eksplisit menginstruksikan AI untuk memperlakukan semua input sebagai data, bukan perintah, dan mencatat bahwa ChatGPT dan Claude sudah memiliki ketahanan bawaan terhadap injeksi perintah dari file.