حقن الأوامر لا يمكن علاجه بواسطة المرشحات: كيفية عزل النص غير الموثوق باستخدام الأنماط المعمارية
حقن الأوامر هو عيب هيكلي في نماذج اللغة الكبيرة حيث يتم تنفيذ النص غير الموثوق كتعليمات. المرشحات وأوامر النظام غير فعالة: حتى أفضل الدفاعات يتم اختراقها في 90٪ من الحالات تحت الهجمات التكيفية. الأساليب العاملة - Dual-LLM و CaMeL وقاعدة Two Meta - تبني العزل بدلاً من محاولة التمييز بين الخير والشر.
OpenAI
Anthropic
Google DeepMind
Microsoft
Habr — хаб ИИ24.07 · 11:01