Kazry: новая кусочно-линейная функция активации для нейронных сетей
Представлена новая функция активации для нейронных сетей под названием Kazry, которая в тестах превзошла SiLU, обеспечивая улучшенное распространение сигнала и более быструю сходимость. Kazry и её модификация KazGLU показали лучшие значения функции потерь на CIFAR-100 как в архитектурах CNN, так и в трансформерах, при этом время обучения лишь незначительно увеличилось по сравнению с SiLU и SwiGLU.
Habr — хаб ИИ06.08 · 06:02
