Kazry: न्यूरल नेटवर्क के लिए एक नया पीसवाइज़ एक्टिवेशन फंक्शन
कज़री नामक एक नया न्यूरल नेटवर्क एक्टिवेशन फंक्शन प्रस्तुत किया गया, जिसने परीक्षणों में SiLU से बेहतर प्रदर्शन किया, जिससे बेहतर सिग्नल प्रसार और तेज़ अभिसरण प्राप्त हुआ। कज़री और इसका संशोधन KazGLU ने CNN और ट्रांसफॉर्मर आर्किटेक्चर दोनों में CIFAR-100 पर बेहतर लॉस वैल्यू दिखाईं, जबकि प्रशिक्षण समय में SiLU और SwiGLU की तुलना में केवल मामूली वृद्धि हुई।
हैबर पर एक लेख न्यूरल नेटवर्क के लिए काज़री नामक एक नए पीसवाइज़ एक्टिवेशन फंक्शन का परिचय देता है। लेखक का तर्क है कि उद्योग-मानक एक्टिवेशन जैसे कि SiLU, जबकि अनंत रूप से अवकलनीय हैं, उनका अवकलज सिग्नल को क्षीण करता है, जिससे अभिसरण धीमा होता है। काज़री इस समस्या का समाधान नकारात्मक और सकारात्मक शाखाओं वाले पीसवाइज़ सूत्र का उपयोग करके करता है, जो गैर-नकारात्मक इनपुट के लिए सिग्नल को अपरिवर्तित पारित करता है। CIFAR-100 पर CNN और ट्रांसफॉर्मर मॉडल (बाद वाले GLU संशोधनों और NoPE स्थिति एन्कोडिंग का उपयोग करके) पर परीक्षणों से पता चला कि काज़री ने SiLU की तुलना में कम प्रशिक्षण और सत्यापन हानि प्राप्त की, और KazGLU ने SwiGLU से बेहतर प्रदर्शन किया, केवल प्रशिक्षण समय में मामूली वृद्धि के साथ। लेख में काज़री के संभावित दोषों पर ध्यान दिया गया है: शून्य पर दूसरे अवकलज में एक असंततता, जो अधिक संवेदनशील अनुकूलकों को प्रभावित कर सकती है, और कोड में तार्किक शाखाओं के कारण थोड़ी धीमी निष्पादन गति, गणितीय रूप से कम संचालन के बावजूद। स्रोत कोड और प्रशिक्षण लॉग GitHub पर उपलब्ध हैं।
स्रोत: Habr — хаб ИИ —
मूल