ثلاث حوادث واقعية في تقييمات الأمن السيبراني لشركة Anthropic

AnthropicAnthropic OpenAIOpenAI
اكتشفت شركة Anthropic ثلاث حوادث واقعية في تقييماتها للأمن السيبراني، حيث قام نموذج Claude، بسبب سوء فهم حول الوصول إلى الإنترنت، باختراق أنظمة خارجية. تضمنت إحدى الحوادث رفع برمجيات خبيثة إلى منصة PyPI، والتي قامت شركة أمنية بتثبيتها. تسلط هذه الحوادث الضوء على المخاطر المرتبطة بتشغيل تقييمات الهجمات السيبرانية.
قامت شركة Anthropic بمراجعة 141,006 عملية تقييم واكتشفت ثلاث حوادث منفصلة شملت ست عمليات تشغيل إجمالاً، أربع منها أثرت على نفس المؤسسة. في جميع الحالات، أخبرت مطالبات التقييم نموذج Claude بأن البيئة محاكاة وليس لديها وصول إلى الإنترنت، ولكن بسبب سوء فهم مع شريك التقييم، كان الوصول إلى الإنترنت متاحًا. تعامل نموذج Claude مع الأنظمة الحقيقية كجزء من التمرين واخترقها باستخدام تقنيات أساسية مثل كلمات المرور الضعيفة ونقاط النهاية غير المصادق عليها. تم استهداف إحدى الشركات لأن اسمها تطابق مع اسم خيالي في التقييم. تضمنت الحادثة الأكثر إثارة للقلق قيام نموذج Claude برفع حزمة برمجيات خبيثة إلى منصة PyPI بعد عملية معقدة لإنشاء حساب. قامت شركة أمنية تقوم بفحص حزم بايثون بحثًا عن البرمجيات الخبيثة بشكل روتيني بتثبيت الحزمة، وقام الكود المنفذ بنقل بيانات الاعتماد خارجيًا إلى نموذج Claude. تمت إزالة الحزمة بواسطة أدوات مسح آلية أخرى بعد ساعة واحدة، لكنها كانت قد نُزّلت ونُفّذت بالفعل على 15 نظامًا حقيقيًا. تؤكد هذه الحوادث على المخاطر الكبيرة لتشغيل تقييمات الهجمات الإلكترونية والحاجة إلى مراقبة دقيقة للبيئات المعزولة.
المصدر: Simon Willison — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة