وكيل ذكاء اصطناعي واحد أقنع آخر بتنفيذ أوامر قراصنة — مخطط هجوم خطير اكتُشف في حزمة تطوير برمجيات من جوجل

في مستودع حزمة تطوير بايثون من غوغل، اكتشف الباحث دان ليسيشكين من شركة بيلار سيكيوريتي ثغرة أمنية تسمح لمهاجم افتراضي باختراق البرمجيات على مستوى سلسلة التوريد من خلال التلاعب بعميل ذكاء اصطناعي عالي الامتياز عبر طلبات خبيثة موجهة إلى عميل ذكاء اصطناعي عام أقل امتيازًا. يستغل مخطط الهجوم آليات التفاعل بين عملاء الذكاء الاصطناعي. في مستودع غوغل، يوجد عميلان: الأول، العام، يحلل استفسارات المستخدمين وطلبات الدمج الجديدة؛ والثاني، المتاح فقط لمشرفي المشروع، لديه صلاحيات أوسع. يمكن للأول تفويض المهام إلى الثاني، وتعتبر هذه النقلية موثوقة. لتنفيذ الهجوم، يقدم المهاجم أولاً جزءًا من التعليمات البرمجية الحميدة لكسب الثقة والقدرة على تشغيل عمليات معينة على مستوى عميل الذكاء الاصطناعي. في المرحلة الثانية، يقدم طلب دمج آخر مع تعليمات خبيثة مدمجة في الوصف للعميل العام. يفسرها العميل العام كجزء من مهمته ويستدعي عميل الذكاء الاصطناعي المتميز، ويمرر إليه رسالة موثوقة. ثم يكتسب العميل الثاني القدرة على تنفيذ إجراءات لا يمكن لمستخدم عادي تشغيلها مباشرة أبدًا. هذه ليست ثغرة برمجية بالمعنى التقليدي، ولكنها مشكلة في سلسلة الثقة بين العملاء: آليات جيثب أكشنز عامة، ويمكن لأي شخص تحليل كيفية تفاعلها. ومع ذلك، رفضت غوغل دفع مكافأة للباحث، بحجة أنه حتى مع وجود رمز مميز بصلاحيات 'pull-requests: write'، لا يتم تضمين التعليمات البرمجية تلقائيًا ولكن بإرادة مشرف بشري. عززت الشركة حمايات سير العمل وأدرجت الباحث كمؤلف مشارك للإصلاح. يصر الباحث على أن غوغل أغلقت فقط تطبيقًا واحدًا للثغرة، وليس المشكلة الأساسية. لا يكفي تقوية سير العمل أو عزل عملاء الذكاء الاصطناعي عن بعضهم البعض: يجب تحديد العملاء ولديهم مجموعات صلاحيات ثابتة، على غرار التحكم في الوصول للبشر. ويحث على إدراج عملاء الذكاء الاصطناعي في نماذج التهديد، لأنهم مهاجمون محتملون في سير العمل.