Wie Modelle Konzepte in Mannigfaltigkeiten verpacken: Theorie, Praxis und die Suche nach Kreisen
OpenAI
Mistral
Der Artikel untersucht, wie KI-Modelle Konzepte geometrisch in Mannigfaltigkeiten (z. B. Kreise, Simplizes) in ihren Aktivierungsräumen strukturieren. Er erklärt die theoretischen Grundlagen, einschließlich des Einbettungssatzes von Whitney, und demonstriert die empirische Erkennung von kreisförmigen Darstellungen für zyklische Konzepte wie Wochentage in GPT-2 und Mistral 7B.
Der Artikel erklärt, dass KI-Modelle reale Konzepte in geometrische Strukturen innerhalb ihrer Aktivierungsräume packen. Konzepte wie binäre Oppositionen bilden zwei isolierte Punkte (0-dimensional), Wochentage bilden einen Kreis (1-dimensionale Mannigfaltigkeit), und Hierarchien bilden Simplizes, bei denen die Dimensionalität nicht anwendbar ist. Der Einbettungssatz von Whitney (1944) besagt, dass jede glatte d-dimensionale Mannigfaltigkeit glatt in R^{2d} eingebettet werden kann, was eine theoretische Obergrenze für die benötigten Dimensionen liefert. Der Satz begrenzt Modelle jedoch nicht direkt aufgrund von Näherungseinbettung und Superposition. Mannigfaltigkeiten entstehen, wenn ein Konzept kontinuierlich geordnet ist und das Trainingsziel des Modells Operationen auf dieser Struktur erfordert. Praktische Beispiele umfassen kreisförmige Darstellungen für Wochentage, die in GPT-2 (Schicht 7) und Mistral 7B mittels SAE-Clustering und PCA gefunden wurden; Eingriffe in diese Strukturen verändern das Modellverhalten.
Quelle: Habr — хаб ИИ —
Original