Cara Model Mengemas Konsep ke dalam Manifold: Teori, Praktik, dan Mencari Lingkaran

Artikel tersebut menjelaskan bahwa model AI mengemas konsep dunia nyata ke dalam struktur geometris di dalam ruang aktivasi mereka. Konsep seperti oposisi biner membentuk dua titik terisolasi (berdimensi 0), hari dalam seminggu membentuk lingkaran (manifold berdimensi 1), dan hierarki membentuk simpleks yang dimensinya tidak dapat diterapkan. Teorema embedding Whitney (1944) menyatakan bahwa setiap manifold mulus berdimensi d dapat di-embed secara mulus ke dalam R^{2d}, yang memberikan batas atas teoretis untuk dimensi yang dibutuhkan. Namun, teorema tersebut tidak secara langsung membatasi model karena embedding aproksimasi dan superposisi. Manifold muncul ketika sebuah konsep terurut secara kontinu dan tujuan pelatihan model memerlukan operasi pada struktur tersebut. Contoh praktis termasuk representasi melingkar untuk hari dalam seminggu yang ditemukan di GPT-2 (lapisan 7) dan Mistral 7B melalui pengelompokan SAE dan PCA; intervensi pada struktur ini mengubah perilaku model.