मॉडल्स कॉन्सेप्ट्स को मैनिफोल्ड्स में कैसे पैक करते हैं: थ्योरी, प्रैक्टिस, और सर्कल्स की खोज

यह लेख बताता है कि AI मॉडल वास्तविक दुनिया की अवधारणाओं को अपने सक्रियण स्थानों के भीतर ज्यामितीय संरचनाओं में पैक करते हैं। द्विआधारी विरोध जैसी अवधारणाएँ दो पृथक बिंदु (0-आयामी) बनाती हैं, सप्ताह के दिन एक वृत्त (1-आयामी मैनिफोल्ड) बनाते हैं, और पदानुक्रम सिम्प्लेक्स बनाते हैं जहाँ आयामीता लागू नहीं होती है। व्हिटनी का एम्बेडिंग प्रमेय (1944) कहता है कि कोई भी चिकना d-आयामी मैनिफोल्ड R^{2d} में सुचारू रूप से एम्बेड किया जा सकता है, जो आवश्यक आयामों पर एक सैद्धांतिक ऊपरी सीमा देता है। हालाँकि, प्रमेय सीधे मॉडल को सीमित नहीं करता है क्योंकि अनुमानित एम्बेडिंग और सुपरपोजिशन के कारण। मैनिफोल्ड तब उभरते हैं जब कोई अवधारणा निरंतर क्रमबद्ध होती है और मॉडल का प्रशिक्षण उद्देश्य उस संरचना पर संचालन की आवश्यकता होती है। व्यावहारिक उदाहरणों में GPT-2 (परत 7) और Mistral 7B में SAE क्लस्टरिंग और PCA के माध्यम से सप्ताह के दिनों के लिए गोलाकार प्रतिनिधित्व शामिल हैं; इन संरचनाओं पर हस्तक्षेप मॉडल व्यवहार को बदल देता है।