حقن الأوامر لا يُعالج بالفلاتر: كيفية عزل النصوص غير الموثوقة باستخدام الأنماط المعمارية
OpenAI
Anthropic
Google DeepMind
Microsoft
حقن الأوامر (Prompt Injection) لا يزال عيبًا هيكليًا في تطبيقات LLM، ولا يُصلح بواسطة التعليمات النظامية أو المصنفات. توفر الأنماط المعمارية مثل نموذج LLM المزدوج، ونموذج CaMeL من Google DeepMind، وقاعدة الاثنين للوكلاء من Meta عزلًا قويًا. تشرح المقالة نموذج التهديد، وثغرة EchoLeak في Microsoft 365 Copilot، وتنفيذًا ملموسًا بثلاثة نماذج معزولة.
حقن الأوامر (Prompt injection)، الذي قدمه سيمون ويليستون في سبتمبر 2022، يحدث عندما يُنفّذ نص غير موثوق في سياق نموذج لغوي كبير (LLM) كتعليمة. على عكس كسر الحماية (jailbreaking)، فهو يؤثر على التطبيقات التي يمتلك فيها النموذج صلاحية الوصول إلى أدوات وبيانات، مما يؤدي إلى هجمات الوكيل المخدوع (confused deputy) وتسريب البيانات. يرى المقال أن الأوامر النظامية (system prompts) ومصنفات الحراسة (guardrail classifiers) غير فعالة، مستشهدًا بدراسة عام 2025 من OpenAI وAnthropic وGoogle DeepMind أظهرت أن الهجمات التكيفية (adaptive attacks) تتجاوز 12 دفاعًا منشورًا بنجاح يتجاوز 90%. 'الثلاثية القاتلة' (lethal trifecta) لسيمون ويليستون تحدد ثلاثة عناصر لتسريب البيانات: الوصول إلى البيانات الخاصة، الاتصال بمحتوى غير موثوق، وقناة صادرة (outbound channel). ثغرة EchoLeak (CVE-2025-32711) في مايكروسوفت 365 Copilot استغلت العناصر الثلاثة. 'قاعدة اثنين للوكيل' (Agents Rule of Two) من ميتا تنص على ألا يمتلك الوكيل أكثر من خاصيتين من ثلاث: معالجة مدخلات غير موثوقة، الوصول إلى أنظمة/بيانات حساسة، والقدرة على تغيير الحالة أو التواصل خارجيًا. معماريات مثل النموذجين الثنائيين (Dual-LLM) (ويليستون، 2023) تفصل بين نموذج لغوي كبير مُمتاز (privileged LLM) (مع أدوات، يرى فقط المدخلات الموثوقة) ونموذج لغوي كبير في الحجر الصحي (quarantined LLM) (بدون أدوات، يعالج النص غير الموثوق)، متصلين بوحدة تحكم حتمية (deterministic controller). يستخدم CaMeL من Google DeepMind (2024) مدققًا (verifier) لفرض أن نموذج الحجر الصحي يُخرج فقط مجموعة فرعية صارمة من الرموز المسموح بها. ستة أنماط مشروع (project patterns) من ورقة بحثية عام 2025 توسع هذه الفكرة. يُوصف تطبيق ملموس باستخدام ثلاثة نماذج معزولة لمُولِّد أسئلة شائعة (FAQ generator): واحد متميز مع صلاحية الوصول إلى بيانات الشركة وأدواتها، وآخر في الحجر الصحي لنص الصفحة غير الموثوق، وثالث للتوليف، مع فحوصات حتمية بينهم.
المصدر: Habr — хаб ИИ —
الأصلي
