Näin mallit pakkaavat käsitteitä monistoihin: teoria, käytäntö ja ympyröiden etsintä

Artikkelissa selitetään, että tekoälymallit pakkaavat reaalimaailman käsitteitä geometrisiin rakenteisiin aktivaatioavaruuksissaan. Käsitteet, kuten binääriset vastakkainasettelut, muodostavat kaksi eristettyä pistettä (0-ulotteinen), viikonpäivät muodostavat ympyrän (1-ulotteinen monisto), ja hierarkiat muodostavat simpleksejä, joissa ulotteisuus ei ole määriteltävissä. Whitneyn upotuslause (1944) sanoo, että mikä tahansa sileä d-ulotteinen monisto voidaan upottaa sileästi avaruuteen R^{2d}, mikä antaa teoreettisen ylärajan tarvittaville ulottuvuuksille. Lause ei kuitenkaan rajoita suoraan malleja approksimatiivisen upotuksen ja superpositiovaikutusten vuoksi. Monistot syntyvät, kun käsite on jatkuvasti järjestetty ja mallin koulutustavoite edellyttää operaatioita tälle rakenteelle. Käytännön esimerkkejä ovat viikonpäivien ympyräesitykset, jotka on löydetty GPT-2:sta (kerros 7) ja Mistral 7B:stä SAE-klusteroinnin ja pääkomponenttianalyysin avulla; interventiot näihin rakenteisiin muuttavat mallin käyttäytymistä.