Onde os LLMs Armazenam Fatos: Movendo a Torre Eiffel de Paris para Roma
OpenAI
Pesquisadores testaram o método ROME no GPT-2 XL para editar um fato específico nos pesos do modelo: mudar a localização da Torre Eiffel de Paris para Roma. O experimento confirmou que a edição funciona em várias formulações e que fatos vizinhos permanecem intactos. Isso demonstra como o conhecimento paramétrico pode ser direcionado sem retreinamento completo.
Em um experimento, o método ROME (Rank-One Model Editing) foi aplicado ao modelo GPT-2 XL para alterar o fato de que a Torre Eiffel fica em Paris para Roma. O modelo, com 1,56 bilhão de parâmetros, foi escolhido porque seus pesos são acessíveis abertamente e é suportado pela implementação original do ROME. Antes da edição, o modelo preferia consistentemente Paris em vários prompts, com probabilidades variando de 2% a 49%. Após uma edição direcionada, o modelo mudou sua preferência para Roma em todas as formulações testadas, e outros fatos sobre a Torre Eiffel permaneceram inalterados. O método modifica uma matriz na rede feed-forward (FFN), que atua como memória associativa para fatos. O experimento também destacou que os fatos não são armazenados como neurônios discretos, mas estão distribuídos pela rede, e que o ROME pode ajustar uma associação específica sem retreinamento completo. Finalmente, os pesos originais foram restaurados, confirmando que a edição era reversível.
Fonte: Habr — хаб ИИ —
original