Где LLM хранят факты: перенос Эйфелевой башни из Парижа в Рим
Исследователи протестировали метод ROME на модели GPT-2 XL, чтобы изменить конкретный факт в весах модели: перенести местоположение Эйфелевой башни из Парижа в Рим. Эксперимент подтвердил, что правка работает при различных формулировках, а соседние факты остаются нетронутыми. Это демонстрирует, как можно точечно изменять параметрические знания без полного переобучения.
