Các mô hình đóng gói khái niệm vào đa tạp: Lý thuyết, thực hành và tìm kiếm vòng tròn

Bài viết giải thích rằng các mô hình AI gói gọn các khái niệm thực tế vào trong các cấu trúc hình học trong không gian kích hoạt của chúng. Các khái niệm như đối lập nhị phân tạo thành hai điểm cô lập (chiều 0), các ngày trong tuần tạo thành một vòng tròn (đa tạp 1 chiều), và các hệ thống phân cấp tạo thành các đơn hình mà số chiều không áp dụng được. Định lý nhúng Whitney (1944) phát biểu rằng bất kỳ đa tạp trơn d chiều nào cũng có thể được nhúng trơn vào R^{2d}, điều này đưa ra một giới hạn trên lý thuyết về số chiều cần thiết. Tuy nhiên, định lý này không giới hạn trực tiếp các mô hình do hiện tượng nhúng xấp xỉ và sự chồng chập. Các đa tạp xuất hiện khi một khái niệm có thứ tự liên tục và mục tiêu huấn luyện của mô hình yêu cầu các phép toán trên cấu trúc đó. Các ví dụ thực tế bao gồm biểu diễn vòng tròn cho các ngày trong tuần được tìm thấy trong GPT-2 (lớp 7) và Mistral 7B thông qua phân cụm SAE và phân tích thành phần chính (PCA); các can thiệp vào các cấu trúc này làm thay đổi hành vi của mô hình.