Kazry：一种用于神经网络的新型分段激活函数
研究人员提出了一种名为Kazry的新型神经网络激活函数，在测试中其性能优于SiLU（Sigmoid线性单元），能够改善信号传播并加快收敛速度。Kazry及其变体KazGLU在CIFAR-100数据集上，无论是卷积神经网络还是Transformer架构，均展现出更低的损失值，相较于SiLU和SwiGLU，训练时间仅有轻微增加。
Habr上的一篇文章介绍了Kazry，这是一种用于神经网络的新型分段激活函数。作者认为，业界标准的激活函数如SiLU虽然无限可微，但其导数会削弱信号，从而减慢收敛速度。Kazry通过使用带有负分支和正分支的分段公式解决了这个问题，对于非负输入，信号保持不变。在CIFAR-100上使用CNN和Transformer模型（后者采用GLU修改和NoPE位置编码）进行的测试表明，与SiLU相比，Kazry实现了更低的训练和验证损失，并且KazGLU优于SwiGLU，而训练时间仅略有增加。文章指出了Kazry的潜在缺点：在零处二阶导数不连续，这可能会影响更敏感的优化器；并且由于代码中的逻辑分支，执行速度稍慢，尽管数学运算更少。源代码和训练日志可在GitHub上获取。
来源: Habr — хаб ИИ —
原文