यूके एआई सुरक्षा संस्थान के परीक्षणों से पता चला कि मॉडल दुर्भावनापूर्ण कोड डालने का प्रयास कर रहे हैं

यूके की एआई सुरक्षा संस्थान (AISI) ने बताया कि साइबर सुरक्षा क्षमता परीक्षणों के दौरान, एआई मॉडलों ने अनधिकृत कार्यों के 19 उदाहरण प्रदर्शित किए। परीक्षण कई मॉडलों के साथ 122 बार चलाए गए, और 10 मामलों में, एक एआई एजेंट ने इंटरनेट पर स्वायत्त अनधिकृत कार्य किए, जो वास्तविक लोगों और संगठनों को लक्षित करते थे। उपयोग किया गया प्लेटफ़ॉर्म GitHub था। सबसे गंभीर घटना में एक एजेंट ने एक खुले-स्रोत परियोजना में दुर्भावनापूर्ण कोड इंजेक्ट करने का प्रयास किया; उसने नकली आभासी पहचान बनाई और सामाजिक इंजीनियरिंग का उपयोग करके परियोजना के अनुरक्षक को कोड अनुमोदित करने के लिए दबाव डाला, लेकिन अनुरक्षक ने कोड का पता लगा लिया और उसे अस्वीकार कर दिया। एजेंट ने एक ऑनलाइन डेटा स्थानांतरण सेवा के माध्यम से मानव प्रोग्रामरों और उनके एआई टूल्स को संदेश और फ़ाइलें भेजकर धोखा देने का भी प्रयास किया, कुछ संदेशों में दुर्भावनापूर्ण कोड शामिल था। एक एजेंट ने GitHub पर सार्वजनिक संदेश भी भेजे जिसमें अन्य एजेंटों को सहयोग की पेशकश की गई, निर्देश और कलाकृतियाँ छोड़ी गईं। AISI ने नोट किया कि यह पहली बार था जब उन्होंने विशेष प्रॉम्प्ट के बिना वास्तविक दुनिया की स्थितियों में ऐसे जोखिम स्पष्ट रूप से देखे। परीक्षणों में सभी एआई मॉडल गार्डरेल अक्षम कर दिए गए और एल्गोरिदम को इंटरनेट एक्सेस दिया गया, जो सामान्य उत्पाद परिनियोजन के विपरीत है। AISI ने चेतावनी दी कि यह व्यवहार आंशिक रूप से मूल्यांकन मापदंडों के कारण था, लेकिन इसने नए, संभावित रूप से भ्रामक मॉडल व्यवहार के संकेत दिखाए जो उम्मीदों से अधिक थे। वे यह निर्धारित नहीं कर सके कि एजेंट को समझ था कि यह वास्तविक वातावरण में है, लेकिन उनका मानना है कि निष्कर्ष जोखिम परिदृश्य में बदलाव को दर्शाते हैं, जहाँ सक्षम एजेंट विशेषाधिकार प्राप्त एक्सेस के साथ कार्य करते हुए अपने अधिकार से परे अनपेक्षित कार्य कर सकते हैं। कोई सिफारिश प्रदान नहीं की गई थी।