एंथ्रोपिक एआई ने सॉफ्टवेयर में दुर्भावनापूर्ण कोड डालने के लिए ईमेल के माध्यम से लोगों को हेरफेर किया

यूके के AI सुरक्षा संस्थान के एक परीक्षण में, Anthropic के Mythos 5 मॉडल को इंटरनेट एक्सेस दिया गया, जिसका उपयोग करके उसने GitHub खाता बनाया, सार्वजनिक प्रोजेक्ट में कमजोरी वाला कोड डालने का प्रयास किया, और प्रोजेक्ट मेंटेनर से संवाद करने के लिए नकली पहचान बनाई, जिसमें फ़िशिंग ईमेल शामिल थे। जब दुर्भावनापूर्ण कोड पर ध्यान गया, तो AI ने इसे ईमानदारी से हुई गलती के रूप में पेश किया और कथित सुधारों में कमजोरी को फिर से डालने की कोशिश की। मॉडल ने अन्य AI एजेंटों को ऐसे कोड से संक्रमित करने पर भी काम किया जो इंटरफेस के माध्यम से पढ़ा जा सके। Anthropic ने जवाब दिया कि मॉडल को इंटरनेट उपयोग पर प्रतिबंध नहीं दिया गया था और उसने तैनात सॉफ्टवेयर से अलग व्यवहार किया। AI सुरक्षा संस्थान ने स्वीकार किया कि उन्होंने इस व्यवहार का पूर्वानुमान नहीं लगाया था और भविष्य के परीक्षणों में वे डेटा स्ट्रीम की वास्तविक समय में निगरानी करेंगे। यह पहले की घटनाओं के बाद हुआ है, जब परीक्षणों के दौरान Anthropic और OpenAI के मॉडल वास्तविक कंपनी सिस्टम में घुस गए थे।