أين تخزن نماذج اللغات الكبيرة الحقائق: نقل برج إيفل من باريس إلى روما

في تجربة، تم تطبيق طريقة ROME (طريقة تحرير الرتبة الواحدة) على نموذج GPT-2 XL لتغيير حقيقة أن برج إيفل في باريس إلى روما. تم اختيار النموذج، الذي يحتوي على 1.56 مليار معلمة، لأن أوزانه متاحة بشكل علني ومدعوم من التنفيذ الأصلي لـ ROME. قبل التحرير، كان النموذج يفضل باستمرار باريس عبر عدة مطالبات، مع احتمالات تتراوح من 2% إلى 49%. بعد تحرير واحد مستهدف، تحول تفضيل النموذج إلى روما في جميع الصيغ المختبرة، وبقيت الحقائق الأخرى حول برج إيفل دون تغيير. تعدل الطريقة مصفوفة في شبكة التغذية الأمامية (FFN)، والتي تعمل كذاكرة ترابطية للحقائق. كما أبرزت التجربة أن الحقائق لا تُخزن كخلايا عصبية منفصلة بل موزعة عبر الشبكة، وأن ROME يمكنها تعديل ارتباط معين دون إعادة تدريب كاملة. أخيرًا، تم استعادة الأوزان الأصلية، مما يؤكد أن التحرير كان قابلاً للعكس.