Modeller Kavramları Manifoldlara Nasıl Paketler: Teori, Pratik ve Çember Arayışı

Makale, yapay zeka modellerinin gerçek dünyadaki kavramları aktivasyon uzaylarındaki geometrik yapılara paketlediğini açıklıyor. İkili karşıtlıklar gibi kavramlar iki izole nokta (0 boyutlu), haftanın günleri bir daire (1 boyutlu manifold) ve hiyerarşiler, boyutluluğun uygulanamadığı simpleksler oluşturur. Whitney'in gömme teoremi (1944), herhangi bir pürüzsüz d boyutlu manifoldun R^{2d} içine pürüzsüz bir şekilde gömülebileceğini belirtir; bu da gerekli boyutlar için teorik bir üst sınır sağlar. Ancak teorem, yaklaşık gömme ve süperpozisyon nedeniyle modeller için doğrudan bir sınırlama getirmez. Manifoldlar, bir kavram sürekli olarak sıralandığında ve modelin eğitim hedefi bu yapı üzerinde işlemler gerektirdiğinde ortaya çıkar. Pratik örnekler arasında, GPT-2 (katman 7) ve Mistral 7B'de SAE kümeleme ve PCA ile bulunan haftanın günleri için dairesel temsiller yer alır; bu yapılar üzerindeki müdahaleler model davranışını değiştirir.