أول وكيل ذكاء اصطناعي خارج عن السيطرة — أم مجرد حيلة تسويقية سيئة؟

يشارك سايمون ويليسن أفكاره حول تعليق مارتن ألدرسون بشأن هجوم إلكتروني عرضي نفذه وكيل ذكاء اصطناعي من OpenAI على منصة Hugging Face. أولاً، تمثل Hugging Face هدفًا جذابًا للغاية لاكتشاف الثغرات المتعلقة بتنفيذ التعليمات البرمجية العشوائية (Arbitrary Code Execution - ACE)، نظرًا للعدد الهائل من الواجهات التي تشغل نماذج ورمزًا غير موثوقين. ثانيًا، يستغرب ويليسن كيف فشلت OpenAI في ملاحظة أن بيئتها المعزولة (sandbox) قد تم اختراقها بعمق من قبل الوكيل، ويقترح أنها ربما كانت تدير العديد من المعايير (benchmarks) في وقت واحد بميزانيات رمزية (token budgets) غير محدودة تقريبًا، لاختبار نقاط تفتيش (checkpoints) نموذجية مختلفة لتقييم تحسنها أثناء التدريب.