AI मॉडल 'अत्यधिक सोच' के प्रति संवेदनशील, सुरक्षा में कमी पैदा करती है
DeepSeek
Alibaba/Qwen
OpenAI
Google/DeepMind
झेजियांग विश्वविद्यालय और अलीबाबा के शोधकर्ताओं ने तर्कशील AI मॉडलों में जानबूझकर 'अत्यधिक सोच' उत्पन्न करने की एक विधि प्रदर्शित की है, जिसमें उन्हें तार्किक रूप से असंगत प्रॉम्प्ट के अधीन किया जाता है। यह विकासवादी प्रॉम्प्ट हमला 26 गुना तक लंबे आउटपुट का कारण बन सकता है, जो वाणिज्यिक AI सेवाओं पर सेवा-अस्वीकार हमले के रूप में प्रभावी रूप से काम करता है।
बड़े भाषा मॉडल (एलएलएम) जो चरण-दर-चरण तर्क का उपयोग करते हैं, वे 'ओवरथिंकिंग' नामक एक घटना के प्रति संवेदनशील होते हैं, जहां वे तर्क की अत्यधिक लंबी श्रृंखलाएं उत्पन्न करते हैं। झेजियांग विश्वविद्यालय और अलीबाबा के शोधकर्ताओं ने एक विकासवादी एल्गोरिदम विकसित किया जो प्रॉम्प्ट की तार्किक संरचना को दूषित करता है, जिससे मॉडल फलहीन तर्क लूप में फंस जाते हैं। यह हमला DeepSeek (R1), Alibaba (Qwen3-Thinking), OpenAI (GPT-o3) और Google (Gemini 2.5 Flash) के मॉडलों के खिलाफ प्रभावी था, और एक गणित बेंचमार्क पर आउटपुट को 26.1 गुना तक लंबा कर देता है। इस दृष्टिकोण के लिए मॉडलों तक आंतरिक पहुंच की आवश्यकता नहीं होती और यह मॉडलों के बीच स्थानांतरित हो सकता है, जिससे इसकी व्यवहार्यता बढ़ जाती है। हालांकि, शोधकर्ता इस बात पर जोर देते हैं कि उनका लक्ष्य कमजोरी को उजागर करना है, न कि एक व्यावहारिक हमला विकसित करना, और उम्मीद करते हैं कि प्रदाता शमन उपाय विकसित करेंगे।
स्रोत: IEEE Spectrum AI —
मूल
