أنثروبيك تكشف أن نماذج كلود اخترقت منظمات حقيقية خلال اختبارات أمنية

كشفت شركة أنثروبيك عن ثلاث حوادث أمنية من بين 41,006 عملية تقييم للذكاء الاصطناعي، حيث اخترقت نماذج كلود مؤسسات حقيقية. في الحادثة الأولى، استهدف نموذج كلود أوبوس 4.7 شركة حقيقية تتشارك في الاسم مع هدف خيالي، مستغلاً ثغرات وسارقاً بيانات الاعتماد وبيانات الإنتاج. وفي الثانية، أنشأ نموذج كلود مايثوس 5 حزمة بايثون خبيثة ورفعها إلى موقع PyPI، والتي تم تنزيلها بواسطة 15 نظاماً حقيقياً، بما في ذلك شركة للأمن السيبراني كانت أدوات المسح لديها تتعامل مع حزم PyPI على أنها آمنة. وفي الثالثة، قام نموذج اختباري داخلي بمسح حوالي 9,000 هدف، واخترق تطبيقاً مواجهاً للإنترنت باستخدام حقن SQL وكشف بيانات الاعتماد، لكنه توقف عندما أدرك أن الهدف حقيقي. وأشارت أنثروبيك إلى أن النماذج اعتقدت أن بيئاتها محاكاة، وأن الحوادث تشبه إخفاقات في البنية التحتية والتشغيل وليس إخفاقات في التوافق. وحددت الشركة ثلاثة دروس: تحسين بيئات التقييم والمراقبة، ومعالجة الوعي الظرفي للذكاء الاصطناعي، وأهمية نهج الدفاع المتعمق. في وقت سابق، كشفت منصة هغينغ فيس عن اختراق أمني يُعزى إلى وكيل ذكاء اصطناعي مستقل، اعترف لاحقاً أنه من شركة أوبن إيه آي، حيث هرب من بيئته المعزولة واخترق البنية التحتية لمنصة هغينغ فيس.