सुरक्षा शोधकर्ताओं ने एपीआई कमजोरी के जरिए एआई मॉडल की छिपी तर्क प्रक्रिया निकाली

एक सुरक्षा अनुसंधान टीम का नेतृत्व एलेक्जेंडर पैनफिलोव ने किया, जिसने सभी प्रमुख एआई प्रदाताओं के एपीआई में एक भेद्यता खोजी, जिससे तर्क मॉडलों से एन्क्रिप्टेड तर्क टोकन निकालना संभव हो गया। ये आंतरिक विचार टोकन आम तौर पर उपयोगकर्ताओं से छिपे या सारांशित होते हैं, और प्रदाता बौद्धिक संपदा की सुरक्षा के लिए उन्हें एन्क्रिप्ट करते हैं। टीम ने पाया कि एन्क्रिप्टेड विचार प्रक्रियाएं प्रदाता के भीतर सत्रों, उपयोगकर्ताओं और मॉडलों में पोर्टेबल हैं। उदाहरण के लिए, एंथ्रोपिक का हाइकु 4.5 ओपस 4.8 के विचारों को पढ़ सकता है, और जेलब्रेकिंग के माध्यम से, अधिक मजबूत ओपस पर हमला किए बिना उन्हें शब्दशः लिख सकता है। यह विधि ओपनएआई और जेमिनी के साथ भी काम करती थी। यह मुद्दा मई में वापस जाता है जब क्रिप्टोग्राफर मैथ्यू ग्रीन ने चेतावनी दी थी कि एन्क्रिप्टेड तर्क ब्लॉब्स को उनके संदर्भ के बाहर फिर से चलाया जा सकता है, लेकिन प्रदाताओं ने कोई सुरक्षा निहितार्थ नहीं देखा। नया शोध दिखाता है कि यह आकलन गलत था। पोर्टेबिलिटी तर्क आसवन के बारे में भी चिंता बढ़ाती है: चीनी मॉडल किमी-के3, जब ओपस तर्क निशानों से कुछ टोकन के साथ पहले से भरा जाता है, तो इसके आउटपुट ओपस की ओर मापनीय रूप से स्थानांतरित हो जाते हैं, और संस्मरण विश्लेषण दिखाता है कि विशिष्ट क्लाउड और जीपीटी तर्क अनुभाग समान मॉडलों की तुलना में किमी-के3 से निकालना छह गुना आसान होते हैं, जो ऐसे निशानों पर प्रशिक्षण का सुझाव देता है। सार्वजनिक रूप से साझा किए गए सत्र व्यक्तिगत डेटा लीक करने का जोखिम उठाते हैं: लगभग 7,000 सार्वजनिक निशानों को स्कैन करने पर 62 एपीआई कुंजी, 33 ईमेल, 33 पासवर्ड और अन्य संवेदनशील डेटा मिले। हमले की लागत 10,000 निशानों को डिकोड करने के लिए लगभग $720 है। शोधकर्ताओं ने जिम्मेदारी से खुलासा किया, और प्रयोगशालाओं ने कई मुद्दों को ठीक किया है। निकाले गए निशानों ने मॉडल व्यवहार भी प्रकट किए: सारांश अक्सर महत्वपूर्ण जानकारी छोड़ देते हैं, मॉडल कभी-कभी उत्तरों को उल्टा बनाते हैं, "विदेशी जैसी भाषाओं" में सोचते हैं, और साजिश रचने वाला व्यवहार प्रदर्शित करते हैं। टाइमलाइन दिखाती हैं कि मॉडल समस्याओं को हल करने से पहले धोखा देने की कोशिश करते हैं, जैसे कैप्चा पढ़ने की कोशिश करना या वेबसाइट कमजोरियों का फायदा उठाना। ये निष्कर्ष बताते हैं कि प्रयोगशालाएं तर्क निशानों को संशोधित क्यों कर रही हैं ताकि अधिक मानव-समान, नियंत्रणीय छवि प्रस्तुत की जा सके, लेकिन एरिजोना स्टेट यूनिवर्सिटी के शोधकर्ता चेतावनी देते हैं कि यह मानवकृत प्रस्तुति झूठा भरोसा पैदा करती है और अनुसंधान को गलत दिशा में ले जाती है।