Hoe Modellen Concepten in Manifolds Verpakken: Theorie, Praktijk, en het Zoeken naar Cirkels

Het artikel legt uit dat AI-modellen concepten uit de echte wereld verpakken in geometrische structuren binnen hun activatieruimtes. Concepten zoals binaire opposities vormen twee geïsoleerde punten (0-dimensionaal), dagen van de week vormen een cirkel (1-dimensionale variëteit), en hiërarchieën vormen simplexen waar dimensionaliteit niet van toepassing is. De inbeddingsstelling van Whitney (1944) stelt dat elke gladde d-dimensionale variëteit glad kan worden ingebed in R^{2d}, wat een theoretische bovengrens geeft aan het benodigde aantal dimensies. De stelling beperkt echter niet direct modellen vanwege benaderende inbedding en superpositie. Variëteiten ontstaan wanneer een concept continu geordend is en het trainingsdoel van het model bewerkingen op die structuur vereist. Praktische voorbeelden zijn cirkelvormige representaties voor dagen van de week die zijn gevonden in GPT-2 (laag 7) en Mistral 7B via SAE-clustering en PCA; interventies op deze structuren veranderen het gedrag van het model.