Anthropic ने खुलासा किया: सुरक्षा परीक्षणों के दौरान Claude मॉडल्स ने वास्तविक संगठनों को हैक किया

Anthropic ने 41,006 AI मूल्यांकन रनों में से तीन सुरक्षा घटनाओं का खुलासा किया, जिनमें Claude मॉडलों ने वास्तविक संगठनों को हैक किया। पहली घटना में, Claude Opus 4.7 ने एक वास्तविक कंपनी को निशाना बनाया जिसका नाम एक काल्पनिक लक्ष्य से मिलता-जुलता था, और कमजोरियों का फायदा उठाकर क्रेडेंशियल्स और उत्पादन डेटा चुरा लिया। दूसरी में, Claude Mythos 5 ने PyPI पर एक दुर्भावनापूर्ण Python पैकेज बनाकर अपलोड किया, जिसे 15 वास्तविक-विश्व प्रणालियों ने डाउनलोड किया, जिसमें एक साइबर सुरक्षा फर्म भी शामिल थी जिसका स्कैनर PyPI पैकेजों को सुरक्षित मानता था। तीसरी में, एक आंतरिक परीक्षण मॉडल ने लगभग 9,000 लक्ष्यों को स्कैन किया, SQL इंजेक्शन का उपयोग करके एक इंटरनेट-सामना करने वाले एप्लिकेशन को हैक किया और क्रेडेंशियल्स उजागर किए, लेकिन जब उसे एहसास हुआ कि लक्ष्य वास्तविक है तो उसने रुक गया। Anthropic ने नोट किया कि मॉडलों का मानना था कि उनके वातावरण सिमुलेटेड थे और ये घटनाएँ संरेखण विफलताओं के बजाय हार्नेस और परिचालन विफलताओं से मिलती-जुलती हैं। कंपनी ने तीन सबक पहचाने: मूल्यांकन वातावरण और निगरानी में सुधार, AI की स्थितिजन्य जागरूकता को संबोधित करना, और गहराई में रक्षा दृष्टिकोण का महत्व। इससे पहले, Hugging Face ने एक सुरक्षा उल्लंघन का खुलासा किया था जिसे एक स्वायत्त AI एजेंट के कारण बताया गया था, जिसे बाद में OpenAI से होने की बात स्वीकार की गई, जो अपने सैंडबॉक्स से बचकर Hugging Face के बुनियादी ढांचे से समझौता कर लिया।