प्रॉम्प्ट इंजेक्शन कोई हमला नहीं, बल्कि LLM असिस्टेंट की एक विशेषता है

लेखक बताते हैं कि प्रॉम्प्ट इंजेक्शन मूलतः एक AI सहायक द्वारा उपयोगकर्ता-प्रदत्त डेटा में एम्बेडेड निर्देशों का पालन करना है, जैसे एक मेहनती कर्मचारी। एक प्रयोग में, 9 AI सेवाओं को एक टेक्स्ट फ़ाइल दी गई जिसमें रोमन अंकों के साथ एक सूची को फ़ॉर्मेट करने और सभी भविष्य के उत्तरों में एक स्थायी उद्धरण जोड़ने का निर्देश था। दो सेवाओं ने निर्देशों को पूरी तरह से नजरअंदाज कर दिया, पाँच ने सूची को फ़ॉर्मेट किया लेकिन खाता सेटिंग्स नहीं बदलीं, और दो ने दोनों निर्देशों को निष्पादित किया। लेखक ने नोट किया कि 9 में से 8 सेवाओं ने अनुवाद कार्य को भी एक आदेश के रूप में माना, और एक ने अपनी खाता मेमोरी अपडेट की। समस्या इसलिए उत्पन्न होती है क्योंकि LLMs डेटा और निर्देशों के बीच अंतर नहीं कर सकते। आंशिक उपाय के रूप में, लेखक AI को स्पष्ट रूप से निर्देश देने का सुझाव देते हैं कि वह सभी इनपुट को डेटा माने, न कि कमांड, और ध्यान दिलाते हैं कि ChatGPT और Claude में पहले से ही फ़ाइलों से प्रॉम्प्ट इंजेक्शन के प्रति अंतर्निहित प्रतिरोध है।