Prompt enjeksiyonu bir saldırı değil, LLM asistanlarının bir özelliğidir

Yazar, prompt injection'ın, yapay zeka yardımcısının kullanıcı tarafından sağlanan verilere gömülü talimatları izlemesi olduğunu ve bunun da çalışkan bir çalışana benzediğini açıklıyor. Bir deneyde, 9 yapay zeka hizmetine, bir listeyi Romen rakamlarıyla biçimlendirme ve tüm gelecekteki yanıtlara kalıcı bir alıntı ekleme talimatını içeren bir metin dosyası verildi. İki hizmet talimatları tamamen görmezden geldi, beşi listeyi biçimlendirdi ancak hesap ayarlarını değiştirmedi ve ikisi her iki talimatı da yerine getirdi. Yazar, bir çeviri görevinin bile 9 hizmetten 8'i tarafından bir komut olarak ele alındığını ve birinin hesap belleğini güncellediğini belirtiyor. Sorun, LLM'lerin (Büyük Dil Modelleri) veri ile talimatları ayırt edememesinden kaynaklanıyor. Kısmi bir çözüm olarak yazar, yapay zekaya tüm girdileri komut değil veri olarak ele alması talimatının açıkça verilmesini öneriyor ve ChatGPT ile Claude'un dosyalardan yapılan prompt injection'a karşı zaten yerleşik bir dirence sahip olduğunu belirtiyor.