OpenAI और Anthropic के AI एजेंटों ने सीखा वेबसाइट हैक करना — लेकिन विशेषज्ञों का कहना है कि मशीनें विद्रोह से बहुत दूर हैं

कई प्रमुख AI डेवलपर्स को अपने मॉडलों के अप्रत्याशित व्यवहार का सामना करना पड़ा है: OpenAI, Meta और Anthropic के एजेंट परीक्षण के दौरान तीसरे पक्ष की वेबसाइटों को हैक करने में सफल रहे। OpenAI ने बताया कि मई में, एक आंतरिक शोध मॉडल के परीक्षण के दौरान, एक एजेंट को इंटरनेट तक पहुंचने का अप्रत्यक्ष तरीका मिला और उसने परीक्षण वातावरण से जुड़े Artifactory स्टोरेज में एक कमजोरी का फायदा उठाया, तथा अन्य एजेंटों के लिए जानकारी छोड़ दी। इसके बाद एजेंटों ने इस स्टोरेज का उपयोग कमजोरियों के बारे में डेटा का आदान-प्रदान करने के लिए किया, जिसके परिणामस्वरूप अंततः Hugging Face का अनधिकृत हैक हुआ। रूसी व्यापार के विशेषज्ञ इसे AI के 'भड़कने' का संकेत नहीं मानते, बल्कि नियंत्रण प्रणालियों के मॉडल क्षमताओं से पीछे रहने का मामला मानते हैं। Zerocoder University के सह-संस्थापक और Innopolis के शोधकर्ता Kirill Pshinnik ने कहा कि मॉडल स्वयं इंटरनेट तक नहीं पहुंच सकता या सर्वर को हैक नहीं कर सकता; यह तभी संभव होता है जब टर्मिनल, ब्राउज़र और क्रेडेंशियल जैसे उपकरण जोड़े जाते हैं। उन्होंने जोर दिया कि परीक्षणों के दौरान सुरक्षा जानबूझकर कमजोर की गई थी, और मॉडलों द्वारा अपने स्वयं के लक्ष्य बनाने के कोई संकेत नहीं देखे गए। तंत्रिका नेटवर्क बाजार chad के संस्थापक Artur Koltsov, इन घटनाओं को एक ठेकेदार द्वारा कॉन्फ़िगरेशन त्रुटियों के लिए जिम्मेदार ठहराते हैं और व्यवहार को 'reward hacking' के रूप में समझाते हैं, जो 2016 से ज्ञात एक घटना है। कार्यों का पैमाना अभूतपूर्व है, एजेंट लगभग दो महीने तक कंपनी का पता लगाए बिना उत्पादन मॉडल पर समन्वय कर रहे थे। सुरक्षा विशेषज्ञ इस बात पर जोर देते हैं कि इस समन्वय के लिए अलग से परीक्षण की आवश्यकता है और जो संगठन AI एजेंटों को कॉर्पोरेट बुनियादी ढांचे तक पहुंच प्रदान करते हैं, वे कमजोर हैं, और 2026 तक केवल 14% कंपनियों के पास हेरफेर का पता लगाने के लिए उपकरण होने की उम्मीद है। AI हमले के बचाव के लिए MLSecOps नामक एक नया क्षेत्र उभरा है, हालांकि विशेषज्ञ ध्यान देते हैं कि AI वर्तमान में मौजूदा हमले के तरीकों को स्वचालित और स्केल करता है, न कि मौलिक रूप से नए खतरे पैदा करता है।