كازري: دالة تنشيط قطعية جديدة للشبكات العصبية

مقال على حبر يقدم كازري، وهي دالة تفعيل متقطعة جديدة للشبكات العصبية. يجادل المؤلف بأن دوال التفعيل القياسية في الصناعة مثل SiLU، رغم أنها قابلة للاشتقاق إلى ما لا نهاية، إلا أن مشتقتها تضعف الإشارة، مما يبطئ التقارب. تعالج كازري هذه المشكلة باستخدام صيغة متقطعة ذات فروع سالبة وموجبة، وتمرير الإشارة دون تغيير للمدخلات غير السالبة. أظهرت الاختبارات على CIFAR-100 مع نماذج CNN وTransformer (هذه الأخيرة تستخدم تعديلات GLU وترميز المواضع NoPE) أن كازري حققت خسارة تدريب وتحقق أقل مقارنة بـ SiLU، وتفوقت KazGLU على SwiGLU، مع زيادات طفيفة فقط في وقت التدريب. تشير المقالة إلى عيوب محتملة لكازري: انقطاع في المشتقة الثانية عند الصفر، مما قد يؤثر على المحسنات الأكثر حساسية، وسرعة تنفيذ أبطأ قليلاً بسبب التفرع المنطقي في الكود، على الرغم من عدد العمليات الأقل رياضياً. الكود المصدري وسجلات التدريب متاحة على GitHub.