تذكّر كل شيء: طيف الأوزان في الشبكات العصبية

مقال من مؤلف على حبر يستكشف الخواص الطيفية لأوزان الشبكات العصبية. يقوم بإنشاء شبكة عصبية بسيطة في كولاب لتصنيف المستطيلات والمربعات، مولّدًا مستطيلات عشوائية بإحداثيات رؤوسها الثمانية كمدخلات ووسوم ثنائية. النموذج يتكون من طبقتين خطيتين مع تفعيل ReLU، تم تدريبه لمدة 10 عصور محققًا دقة تزيد عن 99%. بعد التدريب، يتم تحليل الأوزان باستخدام تحويل فورييه المتقطع (DFT). يجد المؤلف أنه بعد تطبيق مرشح تنعيم وتقليل التدرج اللوني على المعاملات الطيفية، تبقى المعلومات الأساسية حول التدريب، والتي يمكن استخدامها للضبط الدقيق كشروط أولية. التمثيل الطيفي المقلل التدرج يشغل مساحة أقل بكثير من الأوزان الأصلية، مما يوفر تقنية ضغط محتملة. يقترح المؤلف أن هذا التأثير مثير للاهتمام لتصميم الشبكات العصبية ويوفر الكود في ملخصات md كتلميحات لوكلاء الذكاء الاصطناعي.