Di Mana Model Bahasa Besar Menyimpan Fakta: Memindahkan Menara Eiffel dari Paris ke Roma
OpenAI
Para peneliti menguji metode ROME pada GPT-2 XL untuk mengubah fakta spesifik dalam bobot model: mengubah lokasi Menara Eiffel dari Paris ke Roma. Eksperimen tersebut mengonfirmasi bahwa perubahan itu berfungsi pada berbagai variasi kalimat dan fakta-fakta di sekitarnya tetap utuh. Ini menunjukkan bagaimana pengetahuan parametrik dapat ditargetkan tanpa pelatihan ulang penuh.
Dalam sebuah eksperimen, metode ROME (Rank-One Model Editing) diterapkan pada model GPT-2 XL untuk mengubah fakta bahwa Menara Eiffel berada di Paris menjadi Roma. Model dengan 1,56 miliar parameter ini dipilih karena bobotnya dapat diakses secara terbuka dan didukung oleh implementasi ROME asli. Sebelum penyuntingan, model secara konsisten lebih memilih Paris dalam beberapa prompt, dengan probabilitas berkisar antara 2% hingga 49%. Setelah satu penyuntingan yang ditargetkan, model mengalihkan preferensinya ke Roma dalam semua formulasi yang diuji, dan fakta lain tentang Menara Eiffel tetap tidak berubah. Metode ini memodifikasi matriks dalam jaringan feed-forward (FFN), yang berfungsi sebagai memori asosiatif untuk fakta. Eksperimen ini juga menyoroti bahwa fakta tidak disimpan sebagai neuron yang terpisah-pisah tetapi didistribusikan di seluruh jaringan, dan bahwa ROME dapat menyesuaikan asosiasi tertentu tanpa pelatihan ulang penuh. Terakhir, bobot asli dipulihkan, menegaskan bahwa penyuntingan tersebut dapat dibalik.
Sumber: Habr — хаб ИИ —
asli