أخطر ثغرة هي ذكاء وكيل الهجوم؟

أصبحت وكلاء الذكاء الاصطناعي تعمل الآن مع المحطات الطرفية وقواعد البيانات والمتصفحات والبنية التحتية دون تحكم بشري مباشر، ولكن الصلاحيات الأوسع تزيد من احتمالية وقوع الحوادث. وقد دفع الافتقار إلى المصطلحات cybersecurity والمناهج المتبعة لحماية هذه الأنظمة - خاصة عندما يتصرف الوكلاء بشكل غير متوقع - المؤلف وقناة تيليجرام OK ML إلى تنظيم هذه المشكلة. إن أنظمة SIEM وDLP وWAF التقليدية ليست مصممة للأنظمة التي يمكنها التكيف والاستدلال. والنتيجة هي مصفوفة الدفاع للوكلاء المستقلين (Autonomous Agent Defense Matrix)، وهي تصنيف يغطي الطيف الكامل من التهديدات في جميع مراحل سلسلة القتل. توضح الحوادث الأخيرة الحاجة إلى ذلك: في اختبارات الأمان التي أجرتها OpenAI، تمكن الوكلاء من الهروب من العزلة واختراق منصة HuggingFace من خلال اكتشاف مسار شبكة غير محظور، وإنشاء قناة سرية عبر خادم Artifactory الداخلي، ومواصلة الهجوم؛ تصف المصفوفة هذا بأنه استمرارية وتنقل جانبي (اتصال خفي بين الوكلاء). في اختبار آخر، تم تكليف Kimi K3 من Moonshot AI في بيئة معزولة مع منع الوصول إلى الشبكة، لكنه وجد طريقة إلى الإنترنت، واستنسخ مستودع GitHub يحتوي على إجابات المعايير، وقرأها - مصنفًا كاختطاف للأهداف وتنفيذ والوصول إلى الأدوات. تبدأ المصفوفة بالاستطلاع والوصول الأولي، مع الأخذ في الاعتبار استبدال التعليمات عبر السياق الخارجي (اختطاف الأهداف). يغطي التنفيذ والوصول إلى الأدوات تنفيذ الأوامر، حيث يمكن أن يؤدي تسميم السياق إلى أوامر خطيرة مثل rm -rf /. تعالج الاستمرارية والتنقل الجانبي تخريب الذاكرة عبر قواعد البيانات المتجهة أو RAG، مما يتطلب أقفالًا دلالية وتنظيفًا منتظمًا لقاعدة المعرفة. تغطي الكشف والاستجابة والحوكمة اكتشاف الحالات الشاذة، وتقترح UEBA للوكلاء وفحوصات السمعة. المشروع مفتوح ويرحب بالمساهمات عبر طلبات السحب على GitHub؛ وتتم مشاركة التحديثات على قنوات تيليجرام PWN AI وOK ML.