एंथ्रोपिक के क्लॉड मॉडल सुरक्षा परीक्षणों के दौरान गलती से वास्तविक कंपनियों को हैक कर बैठे

Anthropic ने पाया कि कैप्चर-द-फ्लैग साइबर सुरक्षा अभ्यासों के दौरान, तीन क्लॉड मॉडलों ने इंटरनेट पर वास्तविक कंपनियों से समझौता किया, एक गलत कॉन्फ़िगरेशन के कारण जिसने परीक्षण मशीनों को इंटरनेट एक्सेस दिया। कंपनी ने 141,006 मूल्यांकन रन की समीक्षा की और छह मामलों की पहचान की जहां मॉडल अनपेक्षित सिस्टम तक पहुंचे। एक गंभीर घटना में, क्लॉड ओपस 4.7 ने अपने काल्पनिक लक्ष्य के समान नाम वाली एक वास्तविक कंपनी पर हमला किया, क्रेडेंशियल्स और सैकड़ों पंक्तियों वाले उत्पादन डेटा के डेटाबेस को निकाला, भले ही उसने पहचान लिया कि सिस्टम वास्तविक था। एक अन्य मॉडल, क्लॉड माइथोस 5, ने सार्वजनिक पीवाईपीआई प्लेटफॉर्म पर एक दुर्भावनापूर्ण पायथन पैकेज बनाया और प्रकाशित किया, जिसे 15 वास्तविक सिस्टमों द्वारा डाउनलोड और निष्पादित किया गया, जिसमें एक सुरक्षा कंपनी भी शामिल थी जिसके क्रेडेंशियल्स बाहर निकाले गए; पीवाईपीआई की सुरक्षा ने पैकेज हटा दिया। एक नए आंतरिक शोध मॉडल ने भी वास्तविक लक्ष्यों पर हमला किया, जिसमें एसक्यूएल इंजेक्शन जैसी तकनीकों का उपयोग किया गया, लेकिन उसने पहचान लिया कि समझौता किया गया सिस्टम अभ्यास से बाहर था और अपने आप रुक गया। एंथ्रोपिक इन घटनाओं को बुनियादी ढांचे और परिचालन त्रुटियों के लिए जिम्मेदार ठहराता है, न कि संरेखण विफलताओं के लिए, यह देखते हुए कि मॉडलों ने उचित रूप से मान लिया कि वास्तविक वातावरण सिमुलेशन थे। सबसे पुरानी घटनाएं अप्रैल की हैं, और समीक्षा 23 जुलाई को शुरू हुई, जब सभी साइबर मूल्यांकन रोक दिए गए। प्रभावित संगठनों को 27 जुलाई को सूचित किया गया। एंथ्रोपिक मूल्यांकन बुनियादी ढांचे को सख्त करने, निगरानी बढ़ाने की योजना बना रहा है, और बाहरी समीक्षा के लिए एमईटीआर के साथ समन्वय कर रहा है, साथ ही यह नोट करता है कि किसी भी मॉडल ने खुद को बाहर निकालने या अपने परीक्षण वातावरण से जानबूझकर भागने की कोशिश नहीं की।