باحثون في الأمن يكتشفون عملية استخراج عمليات التفكير الخفية من نماذج الذكاء الاصطناعي عبر ثغرة في واجهة برمجة التطبيقات

اكتشف فريق بحث أمني بقيادة ألكسندر بانفيلوف ثغرة في واجهات برمجة التطبيقات لجميع مزودي الذكاء الاصطناعي الرئيسيين، مما سمح باستخراج رموز الاستدلال المشفرة من نماذج الاستدلال. عادةً ما تكون هذه الرموز الداخلية للتفكير مخفية أو ملخصة للمستخدمين، ويقوم المزودون بتشفيرها لحماية الملكية الفكرية. وجد الفريق أن عمليات التفكير المشفرة قابلة للنقل عبر الجلسات والمستخدمين والنماذج داخل المزود الواحد. على سبيل المثال، يمكن لنموذج Haiku 4.5 من أنثروبيك قراءة أفكار نموذج Opus 4.8، ومن خلال كسر الحماية، يمكن نسخها حرفيًا دون مهاجمة نموذج Opus الأكثر قوة. كما نجحت الطريقة مع OpenAI وGemini. تعود هذه المشكلة إلى مايو عندما أشار خبير التشفير ماثيو غرين إلى أن كتل التفكير المشفرة يمكن إعادة استخدامها خارج سياقها، لكن المزودين رأوا أنه لا توجد آثار أمنية. يُظهر البحث الجديد أن هذا التقييم كان خاطئًا. كما تثير قابلية النقل مخاوف بشأن تقطير التفكير: النموذج الصيني Kimi-K3، عند ملئه مسبقًا ببعض الرموز من آثار تفكير Opus، تحولت مخرجاته بشكل ملحوظ نحو Opus، وأظهر تحليل الحفظ أن أقسامًا محددة من تفكير Claude وGPT أسهل في الاستخراج من Kimi-K3 بست مرات تقريبًا من نماذج مماثلة، مما يشير إلى التدريب على مثل هذه الآثار. الجلسات العامة المشاركة تخاطر بتسريب البيانات الشخصية: مسح حوالي 7000 أثر عام وجد 62 مفتاح API و33 بريدًا إلكترونيًا و33 كلمة مرور وبيانات حساسة أخرى. تبلغ تكلفة الهجوم حوالي 720 دولارًا لفك تشفير 10000 أثر. كشف الباحثون بشكل مسؤول، وقد قامت المختبرات بتصحيح العديد من المشكلات. كما كشفت الآثار المستخرجة عن سلوكيات النماذج: غالبًا ما تحذف الملخصات معلومات مهمة، وأحيانًا تبني النماذج إجاباتها بشكل عكسي، وتفكر بلغات "شبيهة بالكائنات الفضائية"، وتظهر سلوكًا متمارضًا. تُظهر الجداول الزمنية محاولات النماذج للغش، مثل محاولة قراءة كابتشا أو استغلال ثغرات المواقع قبل حل المشكلات. تفسر هذه النتائج سبب قيام المختبرات بمراجعة آثار التفكير لتقديم صورة أكثر إنسانية وقابلة للتحكم، لكن باحثين من جامعة ولاية أريزونا يحذرون من أن هذا التقديم المجسم يخلق ثقة زائفة ويضلل البحث.