1Password के अध्ययन में चेतावनी: AI 74% बार सॉफ़्टवेयर दोषों को ठीक करने में विफल रहता है

1Password की सुरक्षा अनुसंशोधन टीम ऑफ-बाय-1-लैब्स ने एक अध्ययन प्रकाशित किया है जिसमें सॉफ्टवेयर कमजोरियों को पैच करने में एआई मॉडल की प्रभावशीलता का परीक्षण किया गया है। टीम ने परिकल्पना की थी कि अत्याधुनिक एआई मॉडल लगभग 67% पैच सफलता दर हासिल करेंगे, लेकिन परिणाम काफी कम थे - केवल 26% उपयोगी पैच। शोधकर्ताओं ने ओपन-सोर्स सॉफ्टवेयर में हाल ही में खोजी गई छह कमजोरियों का चयन किया, ताकि क्लाउड और ओपनएआई के कोडेक्स पर आधारित एक एलएलएम जैसे मॉडल का परीक्षण किया जा सके। मॉडलों ने विभिन्न परिस्थितियों और प्रॉम्प्ट के तहत 6,080 पैच प्रयास उत्पन्न किए। निष्कर्षों से पता चला कि 21% पैच ने बग को ठीक किया लेकिन एप्लिकेशन के व्यवहार को बदल दिया, और 53.9% प्रयास विफल रहे, नए बग पैदा किए, या दोनों। टीम ने इन फिक्स-जैसे आर्टिफैक्ट्स के लिए 'FLAWED' शब्द गढ़ा, जिनमें अंतर्निहित दोष होते हैं, यह उजागर करते हुए कि एआई-जनित पैच अक्सर काम करते प्रतीत होते हैं लेकिन कमजोरियों को पूरी तरह से हल नहीं करते और नई समस्याएं पैदा कर सकते हैं। 1Password ने आगे के शोध के लिए अपने FLAWED टूलिंग को GitHub पर जारी किया। ऑफ-बाय-1 लैब्स के प्रमुख कीथ हूडलेट ने जोर देकर कहा कि मानवीय निगरानी सर्वोपरि है और एआई का उपयोग कमजोरियों के त्रुटिपूर्ण वर्गीकरण (त्रुटि-समाधान) के लिए किया जाना चाहिए, ताकि रक्षकों को प्रभावशाली बगों को प्राथमिकता देने में मदद मिल सके। अध्ययन बताता है कि एआई अभी तक स्वायत्त पैचिंग के लिए तैयार नहीं है, लेकिन साइबर सुरक्षा में सहायक हो सकता है।