MLSecOps: أولويات مختلفة لحالات استخدام الذكاء الاصطناعي المختلفة

أصبح الذكاء الاصطناعي التوليدي جزءًا من التطوير، حيث يُستخدم كمساعد برمجة (مثل Copilot وCursor وClaude وChatGPT) وكعنصر مدمج في المنتج. تختلف هذه السيناريوهات في المخاطر ونقاط التحكم وتكلفة الأخطاء. هناك حاجة إلى MLSecOps لدمج الأمان في دورة حياة نظام الذكاء الاصطناعي، من التلميحات (prompts) والكود إلى مجموعات البيانات والنماذج وواجهات برمجة التطبيقات الاستدلالية وحماية وقت التشغيل والمراقبة في الإنتاج. في سيناريو أداة المطور، تشمل التهديدات الرئيسية توليد كود غير آمن، وتسرب الأسرار، وحقن التلميحات غير المباشر، وتدقيق الامتثال؛ ويجب وضع الضوابط بالقرب من المطور، بما في ذلك جدار حماية للذكاء الاصطناعي/النماذج اللغوية الكبيرة، وفحوصات بيئة التطوير المتكاملة (IDE)، ومراجعة طلبات السحب (PR)، والتكامل المستمر/النشر المستمر (CI/CD) كخط دفاع أخير. في سيناريو تكامل المنتج، يصبح الذكاء الاصطناعي سطحًا للهجوم في وقت التشغيل مع تهديدات مثل حقن التلميحات والتهرب من القيود (jailbreaks)، واستخراج النماذج، والاختراق عبر سلسلة توريد التعلم الآلي، والهجمات على وكلاء الذكاء الاصطناعي. يجب التعامل مع الوكلاء كمستخدمين متميزين بصلاحيات دنيا وعزلهم؛ ويساعد تقييم "الثالوث القاتل" (وصول إلى البيانات الخاصة، وإدخال غير موثوق، وقناة خارجية) في تقييم المخاطر. تؤكد المقالة على أن أدوات أمان التطبيقات التقليدية لا تكتشف هذه الثغرات الخاصة بالذكاء الاصطناعي، لذا فإن MLSecOps توسع نطاق DevSecOps بدلاً من استبدالها.