Nơi LLM lưu trữ sự kiện: Di chuyển Tháp Eiffel từ Paris đến Rome
OpenAI
Các nhà nghiên cứu đã thử nghiệm phương pháp ROME trên GPT-2 XL để chỉnh sửa một sự kiện cụ thể trong trọng số của mô hình: thay đổi vị trí của Tháp Eiffel từ Paris sang Rome. Thí nghiệm xác nhận rằng việc chỉnh sửa hoạt động trên nhiều cách diễn đạt khác nhau và các sự kiện lân cận vẫn được giữ nguyên. Điều này chứng minh cách có thể nhắm mục tiêu kiến thức tham số mà không cần đào tạo lại toàn bộ.
Trong một thí nghiệm, phương pháp ROME (Rank-One Model Editing) đã được áp dụng cho mô hình GPT-2 XL để thay đổi sự thật rằng Tháp Eiffel ở Paris thành Rome. Mô hình, với 1,56 tỷ tham số, được chọn vì trọng số của nó được công khai và nó được hỗ trợ bởi triển khai ROME ban đầu. Trước khi chỉnh sửa, mô hình luôn ưu tiên chọn Paris ở nhiều prompt khác nhau, với xác suất dao động từ 2% đến 49%. Sau một lần chỉnh sửa có chủ đích, mô hình đã chuyển sự ưu tiên sang Rome trong tất cả các biến thể được thử nghiệm, và các sự kiện khác về Tháp Eiffel vẫn không thay đổi. Phương pháp này sửa đổi một ma trận trong mạng truyền thẳng (FFN), hoạt động như bộ nhớ liên kết cho các sự kiện. Thí nghiệm cũng nhấn mạnh rằng các sự kiện không được lưu trữ dưới dạng các nơ-ron rời rạc mà được phân bố trên toàn mạng, và ROME có thể điều chỉnh một liên kết cụ thể mà không cần huấn luyện lại toàn bộ. Cuối cùng, trọng số ban đầu đã được khôi phục, xác nhận rằng việc chỉnh sửa có thể đảo ngược.
Nguồn: Habr — хаб ИИ —
bản gốc