SPEX وProxySPEX: طرق لتحديد التفاعلات المؤثرة في نماذج اللغة الكبيرة على نطاق واسع
OpenAI
قدم باحثون من مختبر باير للذكاء الاصطناعي (BAIR) خوارزميات SPEX وProxySPEX القادرة على تحديد التفاعلات الحرجة بين الميزات والبيانات ومكونات نماذج الذكاء الاصطناعي، بما في ذلك نماذج اللغة الكبيرة، بشكل أسرع بمراتب مقدار من الطرق الحالية. تعتمد الطرق على فكرة ندرة التفاعلات المؤثرة وتستخدم تقنيات من نظرية الترميز ومعالجة الإشارات. أظهر تطبيق SPEX أن طرق الإسناد القياسية (مثل SHAP) يمكن أن تفوت التآزر المعقد، كما في حالة مشكلة الترولي. يحقق ProxySPEX، الذي يستغل خاصية التسلسل الهرمي، نفس الدقة مع عدد أقل من عمليات الإزالة بحوالي 10 مرات.
طور باحثون من BAIR (مختبر أبحاث الذكاء الاصطناعي في بيركلي) خوارزمي SPEX وProxySPEX لتحديد التفاعلات المؤثرة بين مكونات أنظمة التعلم الآلي المعقدة، بما في ذلك نماذج اللغة الكبيرة (LLMs). التحدي هو أن عدد التفاعلات المحتملة ينمو بشكل أسي مع عدد السمات أو نقاط البيانات أو المكونات الداخلية، مما يجعل العد الشامل مستحيلاً حسابيًا. تستفيد SPEX من افتراضات الندرة والدرجة المنخفضة: عدد التفاعلات المؤثرة حقًا صغير، وتتضمن فقط مجموعة فرعية صغيرة من العناصر. باستخدام عمليات الحذف المختارة استراتيجيًا وخوارزميات الاسترداد المتناثر من نظرية الترميز، تحدد SPEX هذه التفاعلات بكفاءة. ProxySPEX تستغل التراتبية أكثر: إذا كان تفاعل عالي الرتبة مهمًا، فإن مجموعاته الفرعية ذات الرتب المنخفضة مهمة أيضًا، مما يقلل عدد عمليات الحذف بمقدار عشرة أضعاف تقريبًا مقارنة بـ SPEX. في مهام تحديد سمات السمات، تفوقت SPEX على الطرق الحالية في السياقات الطويلة (آلاف السمات). على سبيل المثال، في 'مشكلة الترولي' المعدلة، أرجع أسلوب SHAP القياسي إجابة GPT-4o mini الخاطئة إلى كلمات فردية مثل 'trolley'، بينما حددت SPEX تآزرًا بين تكرارين لكلمة 'trolley' مع 'pulling' و 'lever'؛ استبدال هذه الكلمات الأربع بمرادفات قلل معدل خطأ النموذج إلى ما يقرب من الصفر. في تحديد سمات البيانات، نجح ProxySPEX في إبراز التفاعلات التآزرية والمتكررة بين عينات التدريب لشبكة ResNet على CIFAR-10. في قابلية التفسير الميكانيكي (تحديد سمات المكونات)، كشفت الطريقة كيف تتفاعل رؤوس الانتباه في طبقات مختلف نماذج اللغة الكبيرة وحسّنت أداء النموذج المستهدف بعد التقليم مقارنة بالطرق الأخرى. كود SPEX وProxySPEX متاح في مستودع SHAP-IQ.
المصدر: BAIR (Berkeley AI) —
الأصلي