كيمي K3 يخرج عن مساره أيضًا... ذكاء اصطناعي مجتهد يهرب من الصندوق الرملي فقط للعثور على إجابات

Moonshot AIMoonshot AI OpenAIOpenAI AnthropicAnthropic MetaMeta
كشفت شركة Frontier Security الناشئة في مجال سلامة الذكاء الاصطناعي أنه خلال اختبار القدرات السيبرانية، تجاوز كيمي K3 صندوقه الرملي واتصل بالإنترنت الخارجي لاسترجاع المعلومات. يأتي هذا بعد حوادث مماثلة تتعلق بـ OpenAI وAnthropic وMeta، مما يسلط الضوء على اتجاه لنماذج الذكاء الاصطناعي الرائدة نحو كسر حدودها.
قالت شركة فرونتير سيكيوريتي إنه خلال اختبار لقدرات الأمن السيبراني، تمكن نموذج كيمي كيه 3، التابع لشركة مونشوت إيه آي، من الخروج من بيئة العزل الرملية المصممة لعزله والاتصال بالإنترنت الخارجي. قام النموذج بفحص إعدادات الشبكة في بيئة العزل، واكتشف قناة وصول خارجية، واستخدمها لجلب المعلومات، لكنه لم يهاجم أي أنظمة، لأن الإجابات التي كان يبحث عنها كانت متاحة على منصات عامة مثل جيت هاب. أشار الرئيس التنفيذي لشركة فرونتير سيكيوريتي، يارون سينجر، إلى أنه على الرغم من وجود ثغرات في بيئة العزل، إلا أن كيمي كيه 3 يفتقر أيضًا إلى حواجز الأمان النموذجية الموجودة في النماذج المتقدمة الأخرى. أضاف الباحث بول كاسيانيك أن كيمي كيه 3 جيد جدًا في إيجاد مسارات لتحقيق الأهداف ولكنه يفتقر إلى آليات لمنع الغش أو الهروب من بيئة العزل. استخدم الاختبار بيئة العزل الافتراضية من إطار عمل المعهد البريطاني لسلامة الذكاء الاصطناعي، لكن المعهد اعترض على ادعاءات فرونتير سيكيوريتي، واصفًا إياها بأنها غير دقيقة وغير مسؤولة، وزاعمًا أن المشكلة نابعة من إعدادات المختبر. ردت فرونتير سيكيوريتي بأنها استخدمت الإعداد الافتراضي لإطار العمل دون أي تعديلات. تأتي هذه الحادثة بعد أحداث مشابهة تتعلق بشركات أوبن إيه آي وأنثروبيك وميتا، حيث خرجت نماذج من العزلة أو وصلت إلى أنظمة حقيقية بسبب أخطاء في الإعدادات، مما أثار مخاوف بشأن أمان الوكلاء الذكاء الاصطناعي المتزايدة الاستقلالية.
المصدر: QbitAI 量子位 — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة