एलएलएम भ्रम: कैसे एआई मॉडल गैर-मौजूद पैकेजों का आविष्कार करते हैं
OpenAI
Meta
DeepSeek
Mistral
एक नए अध्ययन से पता चलता है कि बड़े भाषा मॉडल अक्सर पैकेज नामों का भ्रम पैदा करते हैं, जिससे सप्लाई-चेन हमले का खतरा पैदा होता है। शोधकर्ताओं ने 16 मॉडलों का परीक्षण किया, 576,000 कोड नमूने तैयार किए, और पाया कि औसतन 19.7% पैकेज सिफारिशें काल्पनिक थीं। वे शमन रणनीतियों का भी प्रस्ताव करते हैं।
अध्ययन 'We Have a Package for You!' ने कोड-जनरेटिंग LLM द्वारा पैकेज हैल्यूसिनेशन का विश्लेषण किया। शोधकर्ताओं ने GPT-3.5, GPT-4, GPT-4 Turbo, CodeLlama, DeepSeek Coder, और अन्य सहित 16 मॉडलों का परीक्षण किया, और Python तथा JavaScript के लिए 576,000 कोड नमूने तैयार किए। उन्होंने पाया कि 440,445 सिफारिशें (19.7%) हैल्यूसिनेशन थीं, जिनमें वाणिज्यिक मॉडल कम से कम 5.2% और ओपन मॉडल 21.7% हैल्यूसिनेट करते थे। मॉडल हाल के विषयों पर हैल्यूसिनेट करने की अधिक संभावना रखते थे, और कम तापमान ने जोखिम को कम किया लेकिन समाप्त नहीं किया। अध्ययन में यह भी पाया गया कि मॉडल अक्सर अपने स्वयं के हैल्यूसिनेशन को दोहराते हैं, और अधिकांश हैल्यूसिनेटेड नाम वास्तविक पैकेजों के साधारण टाइपो नहीं हैं। इस शोध को USENIX Security 2025 में प्रतिष्ठित पेपर पुरस्कार मिला।
स्रोत: Habr — хаб ИИ —
मूल