الحقن الفوري ليس هجومًا، بل ميزة من ميزات مساعدي LLM

يشرح المؤلف أن حقن التعليمات هو ببساطة مساعد ذكاء اصطناعي يتبع تعليمات مضمنة في بيانات يقدمها المستخدم، على غرار موظف مجتهد. في تجربة، تم إعطاء 9 خدمات ذكاء اصطناعي ملفًا نصيًا يحتوي على تعليمة لتنسيق قائمة باستخدام الأرقام الرومانية وإضافة اقتباس دائم إلى جميع الردود المستقبلية. تجاهلت خدمتان التعليمات تمامًا، وقامت خمس خدمات بتنسيق القائمة لكنها لم تغير إعدادات الحساب، ونفذت خدمتان كلتا التعليمتين. يلاحظ المؤلف أنه حتى مهمة الترجمة عولجت كأمر من قبل 8 من أصل 9 خدمات، حيث قامت إحداها بتحديث ذاكرة حسابها. تنشأ المشكلة لأن نماذج اللغة الكبيرة لا تستطيع التمييز بين البيانات والتعليمات. كحل جزئي، يقترح المؤلف توجيه الذكاء الاصطناعي بشكل صريح لمعالجة جميع المدخلات كبيانات وليس كأوامر، ويشير إلى أن ChatGPT وكلود (Claude) لديهما بالفعل مقاومة مدمجة لحقن التعليمات من الملفات.