सब कुछ याद रखें: तंत्रिका नेटवर्क के भार स्पेक्ट्रम का भार

हैबर के एक लेखक द्वारा लिखे गए लेख में तंत्रिका नेटवर्क के भारों के वर्णक्रमीय गुणों का पता लगाया गया है। वे आयतों और वर्गों को वर्गीकृत करने के लिए कोलैब में एक सरल तंत्रिका नेटवर्क बनाते हैं, जिसमें इनपुट के रूप में 8 शीर्ष निर्देशांक वाले यादृच्छिक आयत उत्पन्न होते हैं और बाइनरी लेबल होते हैं। मॉडल में रेक्टिफाइड लीनियर यूनिट सक्रियण के साथ दो रैखिक परतें हैं, जिन्हें 10 युगों के लिए प्रशिक्षित किया गया है और 99% से अधिक सटीकता प्राप्त हुई है। प्रशिक्षण के बाद, भारों का विश्लेषण असतत फूरियर रूपांतरण (डीएफटी) का उपयोग करके किया जाता है। लेखक पाता है कि वर्णक्रमीय गुणांकों पर एक स्मूथिंग फिल्टर और पोस्टराइजेशन लगाने के बाद, प्रशिक्षण के बारे में आवश्यक जानकारी बनी रहती है, जिसका उपयोग प्रारंभिक स्थितियों के रूप में फाइन-ट्यूनिंग के लिए किया जा सकता है। पोस्टराइज्ड वर्णक्रमीय प्रतिनिधित्व मूल भारों की तुलना में काफी कम स्थान घेरता है, जो एक संभावित संपीड़न तकनीक प्रदान करता है। लेखक सुझाव देता है कि यह प्रभाव तंत्रिका नेटवर्क डिजाइन के लिए दिलचस्प है और एआई एजेंटों के लिए संकेत के रूप में एमडी-सारांश में कोड प्रदान करता है।