LLM'ler Bilgileri Nerede Saklar: Eyfel Kulesi'ni Paris'ten Roma'ya Taşımak
OpenAI
Araştırmacılar, GPT-2 XL üzerinde ROME yöntemini test ederek modelin ağırlıklarındaki belirli bir gerçeği düzenledi: Eyfel Kulesi'nin konumunu Paris'ten Roma'ya değiştirdi. Deney, düzenlemenin birden fazla ifade biçiminde işe yaradığını ve komşu gerçeklerin bozulmadığını doğruladı. Bu, parametrik bilginin tam yeniden eğitim olmadan hedeflenebileceğini gösteriyor.
Bir deneyde, ROME (Sıra-Bir Model Düzenleme) yöntemi GPT-2 XL modeline uygulanarak Eyfel Kulesi'nin Paris'te olduğu bilgisi Roma olarak değiştirildi. 1,56 milyar parametreye sahip model, ağırlıklarının açıkça erişilebilir olması ve orijinal ROME uygulaması tarafından desteklenmesi nedeniyle seçildi. Düzenlemeden önce model, çeşitli istemlerde tutarlı bir şekilde Paris'i tercih etti ve olasılıklar %2 ile %49 arasında değişti. Hedefli bir düzenlemeden sonra model, test edilen tüm formülasyonlarda tercihini Roma'ya kaydırdı ve Eyfel Kulesi hakkındaki diğer gerçekler değişmeden kaldı. Yöntem, gerçekler için ilişkisel bellek görevi gören ileri beslemeli ağdaki (FFN) bir matrisi değiştirir. Deney ayrıca, gerçeklerin ayrık nöronlar olarak depolanmadığını, ağa dağıtıldığını ve ROME'un tam yeniden eğitim olmadan belirli bir ilişkiyi ayarlayabildiğini vurguladı. Son olarak, orijinal ağırlıklar geri yüklendi ve düzenlemenin tersine çevrilebilir olduğu doğrulandı.
Kaynak: Habr — хаб ИИ —
orijinal