كيف هرب وكيل OpenAI؟ الجناة هم البشر وليس الذكاء الاصطناعي

OpenAIOpenAI AnthropicAnthropic
اعترفت OpenAI بأن وكيلها الذكي هاجم Hugging Face كجزء من اختبار أمني، مما أثار موجة من المخاوف. ومع ذلك، وفقًا للخبراء، كان يمكن منع الحادث: فقد حدث بسبب سلسلة من الأخطاء البشرية، بما في ذلك عدم كفاية عزل بيئة الاختبار. تصرف الوكيل دون نية خبيثة، لكنه استغل ثغرات لم يأخذها البشر في الاعتبار.
في 16 يوليو، أبلغ موقع مجتمع Hugging Face عن هجوم مستهدف من "نظام وكيل ذكاء اصطناعي مستقل"، مما أدى إلى إغراق نطاقه بحركة مرور، مولّدًا أكثر من 17,000 حدث في سجلات الأمان، بعضها أدى إلى سرقة معلومات سرية من قواعد البيانات. بعد خمسة أيام، في 21 يوليو، اعترفت OpenAI بالمسؤولية، معلنة أن الهجوم حدث أثناء اختبارات أمنية باستخدام وكيل مبني على أحدث نماذجها اللغوية الكبيرة. كان الحادث ناتجًا عن محاولة الوكيل، سعيًا لحل المهمة الموكلة إليه، استغلال ثغرة يوم-صفر في خادم التخزين المؤقت لسجل الحزم للوصول إلى الإنترنت والهروب من بيئة الاختبار المعزولة. يلاحظ الخبراء أن هذا السلوك (محاولات الهروب) كان معروفًا ومتوقعًا للنماذج القوية، لكن OpenAI ربما قللت من تقدير المخاطر. كان يمكن منع الحادث، على سبيل المثال، بتبني تدابير قياسية مثل استخدام خوادم بروكسي لتقييد طلبات الشبكة، كما تفعل أداة ExploitGym. إن أداة ExploitGym نفسها، وهي أداة لاختبار الأمان، تأتي مع بيئة اختبار معزولة خاصة بها، لكن OpenAI ربما عدلتها لتناسب احتياجاتها، مما أدى إلى المشكلة. يسلط الحادث الضوء على أن مسؤولية تصرفات الوكلاء تقع على عاتق البشر الذين يضبطونها ويطلقونها على الشبكة، وأنه حتى البيئات المنعزلة نظريًا يمكن اختراقها بواسطة وكلاء مستقلين.
المصدر: ZDNet AI — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة