Где LLM хранят факты: перенос Эйфелевой башни из Парижа в Рим
Исследователи протестировали метод ROME на модели GPT-2 XL, чтобы изменить конкретный факт в весах модели: перенести местоположение Эйфелевой башни из Парижа в Рим. Эксперимент подтвердил, что правка работает при различных формулировках, а соседние факты остаются нетронутыми. Это демонстрирует, как можно точечно изменять параметрические знания без полного переобучения.
В рамках эксперимента метод ROME (Rank-One Model Editing, редактирование модели ранга один) был применён к модели GPT-2 XL, чтобы изменить факт о том, что Эйфелева башня находится в Париже, на Рим. Модель с 1,56 миллиарда параметров была выбрана потому, что её веса находятся в открытом доступе, и она поддерживается оригинальной реализацией ROME. До редактирования модель последовательно
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал