دراسة من 1Password تحذر: الذكاء الاصطناعي يفشل في إصلاح ثغرات البرمجيات بنسبة 74%

نشر فريق الأبحاث الأمنية في شركة 1Password، Off-By-1-Labs، دراسةً لاختبار فعالية نماذج الذكاء الاصطناعي في إصلاح الثغرات البرمجية. افترض الفريق أن النماذج المتطورة من الذكاء الاصطناعي ستحقق نسبة نجاح تبلغ حوالي 67% في إصلاح الثغرات، لكن النتائج جاءت أقل بكثير، حيث بلغت نسبة الإصلاحات القابلة للاستخدام 26% فقط. اختار الباحثون ست ثغرات أُعلن عنها مؤخراً في برمجيات مفتوحة المصدر لاختبار نماذج مثل Claude ونموذج لغوي كبير مبني على Codex من OpenAI. ولّدت النماذج 6,080 محاولة إصلاح في ظل ظروف ومطالبات مختلفة. أظهرت النتائج أن 21% من الإصلاحات عالجت الثغرة لكنها غيّرت سلوك التطبيق، وأن 53.9% من المحاولات فشلت أو أدخلت أخطاءً جديدة أو كلاهما. صاغ الفريق مصطلح 'FLAWED' للإشارة إلى هذه النواتج الشبيهة بالإصلاحات والتي تتضمن عيوباً مدمجة، مسلطين الضوء على أن الإصلاحات المولّدة بالذكاء الاصطناعي غالباً ما تبدو فعالة لكنها لا تحل الثغرات بشكل كامل وقد تُدخل مشاكل جديدة. أطلقت 1Password أداتها FLAWED على منصة GitHub لمزيد من البحث. وأكد كيث هودلت، رئيس مختبرات Off-by-1، أن الإشراف البشري يظل ضرورياً، وأنه ينبغي استخدام الذكاء الاصطناعي في فرز الثغرات ومساعدة المدافعين على تحديد الأولويات للثغرات ذات التأثير الكبير. تشير الدراسة إلى أن الذكاء الاصطناعي ليس جاهزاً بعد للإصلاح الذاتي، لكنه يمكن أن يساعد في الدفاع السيبراني.