Kazry: новая кусочно-линейная функция активации для нейронных сетей
Представлена новая функция активации для нейронных сетей под названием Kazry, которая в тестах превзошла SiLU, обеспечивая улучшенное распространение сигнала и более быструю сходимость. Kazry и её модификация KazGLU показали лучшие значения функции потерь на CIFAR-100 как в архитектурах CNN, так и в трансформерах, при этом время обучения лишь незначительно увеличилось по сравнению с SiLU и SwiGLU.
На Хабре вышла статья, в которой представлена Kazry — новая кусочно-заданная функция активации для нейронных сетей. Автор утверждает, что стандартные для индустрии активации, такие как SiLU, хоть и являются бесконечно дифференцируемыми, имеют производную, которая ослабляет сигнал, замедляя сходимость. Kazry решает эту проблему за счет кусочной формулы с отрицательной и положительной ветвями,
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал