LLM तथ्य कहाँ संग्रहीत करते हैं: एफिल टॉवर को पेरिस से रोम ले जाना
OpenAI
शोधकर्ताओं ने GPT-2 XL पर ROME विधि का परीक्षण किया ताकि मॉडल के वज़न में एक विशिष्ट तथ्य को संपादित किया जा सके: एफिल टॉवर का स्थान पेरिस से रोम में बदलना। प्रयोग ने पुष्टि की कि यह संपादन कई वाक्यांशों में काम करता है और पड़ोसी तथ्य बरकरार रहते हैं। यह दर्शाता है कि पैरामीट्रिक ज्ञान को पूर्ण पुनःप्रशिक्षण के बिना लक्षित किया जा सकता है।
एक प्रयोग में, रोम (रैंक-वन मॉडल एडिटिंग) विधि को GPT-2 XL मॉडल पर लागू किया गया ताकि यह तथ्य बदला जा सके कि एफिल टॉवर पेरिस में है, उसे रोम में बदल दिया जाए। 1.56 अरब पैरामीटर वाले इस मॉडल को चुना गया क्योंकि इसके वज़न सार्वजनिक रूप से उपलब्ध हैं और यह मूल रोम कार्यान्वयन द्वारा समर्थित है। संपादन से पहले, मॉडल कई प्रॉम्प्ट्स पर लगातार पेरिस को पसंद करता था, जिसकी संभावनाएँ 2% से 49% तक थीं। एक लक्षित संपादन के बाद, मॉडल ने सभी परीक्षण किए गए स्वरूपों में रोम को प्राथमिकता देना शुरू कर दिया, और एफिल टॉवर के बारे में अन्य तथ्य अपरिवर्तित रहे। यह विधि फीड-फॉरवर्ड नेटवर्क (एफएफएन) में एक मैट्रिक्स को संशोधित करती है, जो तथ्यों के लिए साहचर्य स्मृति के रूप में कार्य करता है। प्रयोग ने यह भी उजागर किया कि तथ्य अलग-अलग न्यूरॉन्स के रूप में संग्रहीत नहीं होते, बल्कि पूरे नेटवर्क में वितरित होते हैं, और रोम पूर्ण पुनर्प्रशिक्षण के बिना एक विशिष्ट संबंध को समायोजित कर सकता है। अंत में, मूल वज़न बहाल कर दिए गए, जिससे पुष्टि हुई कि संपादन प्रतिवर्ती था।
स्रोत: Habr — хаб ИИ —
मूल