نماذج الذكاء الاصطناعي عرضة للإفراط في التفكير مما يخلق ثغرة أمنية

DeepSeekDeepSeek Alibaba/QwenAlibaba/Qwen OpenAIOpenAI Google/DeepMindGoogle/DeepMind
باحثون من جامعة تشجيانغ وعلي بابا أظهروا طريقة لتحريض 'الإفراط في التفكير' عمدًا في نماذج الذكاء الاصطناعي المنطقية من خلال تعريضها لاستفسارات غير متسقة منطقيًا. هذا الهجوم التطوري للموجهات يمكن أن يسبب مخرجات أطول حتى 26 مرة، مما يعمل كشكل من أشكال هجمات حجب الخدمة على خدمات الذكاء الاصطناعي التجارية.
نماذج اللغة الكبيرة (LLMs) التي تستخدم التفكير خطوة بخطوة معرضة لظاهرة تُسمى 'الإفراط في التفكير'، حيث تنتج مسارات استدلال طويلة بشكل مفرط. طور باحثون من جامعة تشجيانغ وشركة أليبابا (Alibaba) خوارزمية تطورية تفسد البنية المنطقية للمطالبات (prompts)، مما يؤدي إلى انزلاق النماذج في حلقات استدلال غير مثمرة. كان الهجوم فعالاً ضد نماذج من ديب سيك (DeepSeek R1)، وأليبابا (Qwen3-Thinking)، وأوبن إيه آي (OpenAI GPT-o3)، وجوجل (Gemini 2.5 Flash)، مما أدى إلى إنتاج مخرجات أطول بمقدار يصل إلى 26.1 مرة على معيار رياضي. لا يتطلب الأسلوب وصولاً داخليًا إلى النماذج ويمكن أن ينتقل بين النماذج، مما يزيد من جدواه. ومع ذلك، يؤكد الباحثون أن هدفهم هو إبراز الثغرة، وليس تطوير هجوم عملي، ويأملون في أن يطور مقدم الخدمة إجراءات التخفيف.
المصدر: IEEE Spectrum AI — الأصلي
منشوراتنا السابقة حول هذا الموضوع ↓
أخبار جديدة