كيف تحزم النماذج المفاهيم في الفضاءات المتعددة: النظرية والتطبيق والبحث عن الدوائر

تشرح المقالة أن نماذج الذكاء الاصطناعي تُغلّف المفاهيم الواقعية في بنى هندسية داخل فضاءات التفعيل لديها. فالمفاهيم مثل التضاد الثنائي تشكل نقطتين معزولتين (بعد صفري)، وأيام الأسبوع تشكل دائرة (شعاعاً أحادي البعد)، والتسلسلات الهرمية تشكل مجسمات بسيطة حيث لا ينطبق البعد. تنص نظرية ويتني للتضمين (1944) على أن أي شعاع أملس ذي بعد d يمكن تضمينه بسلاسة في الفضاء R^{2d}، وهو ما يعطي حداً أقصى نظرياً للأبعاد المطلوبة. ومع ذلك، فإن النظرية لا تحد من النماذج مباشرة بسبب التضمين التقريبي والتراكب. تنشأ الأشعة عندما يكون المفهوم مرتباً باستمرار ويكون هدف تدريب النموذج يتطلب عمليات على تلك البنية. تشمل الأمثلة العملية تمثيلات دائرية لأيام الأسبوع وجدت في GPT-2 (الطبقة 7) وMistral 7B عبر تجميع SAE وتحليل المكونات الرئيسية؛ والتدخلات على هذه البنى تغير سلوك النموذج.