Kazry: Sinir Ağları için Yeni Bir Parçalı Aktivasyon Fonksiyonu
Kazry adlı yeni bir sinir ağı aktivasyon fonksiyonu tanıtıldı ve testlerde SiLU'dan daha iyi performans göstererek gelişmiş sinyal iletimi ve daha hızlı yakınsama sağladı. Kazry ve onun modifikasyonu olan KazGLU, hem CNN hem de Transformer mimarilerinde CIFAR-100 üzerinde daha iyi kayıp değerleri gösterdi; ancak eğitim süresi SiLU ve SwiGLU'ya kıyasla yalnızca hafif bir artış gösterdi.
Habr'da yayınlanan bir makale, sinir ağları için yeni bir parçalı aktivasyon fonksiyonu olan Kazry'yi tanıtıyor. Yazar, endüstri standardı aktivasyonların (SiLU gibi) sonsuz türevlenebilir olmasına rağmen, türevlerinin sinyali zayıflatarak yakınsamayı yavaşlattığını savunuyor. Kazry, negatif ve pozitif dallara sahip parçalı bir formül kullanarak bu sorunu çözüyor ve negatif olmayan girdiler için sinyali değiştirmeden geçiriyor. CIFAR-100 üzerinde CNN ve Transformer modelleriyle (ikincisi GLU modifikasyonları ve NoPE konum kodlaması kullanılarak) yapılan testler, Kazry'nin SiLU'ya kıyasla daha düşük eğitim ve doğrulama kaybı elde ettiğini ve KazGLU'nun SwiGLU'dan daha iyi performans gösterdiğini, eğitim süresinde ise sadece marjinal artışlar olduğunu gösterdi. Makale, Kazry'nin potansiyel dezavantajlarına dikkat çekiyor: sıfırda ikinci türevin süreksizliği (daha hassas optimizasyon algoritmalarını etkileyebilir) ve kodda mantıksal dallanma nedeniyle matematiksel olarak daha az işlem olmasına rağmen biraz daha yavaş çalışma hızı. Kaynak kod ve eğitim günlükleri GitHub'da mevcut.
Kaynak: Habr — хаб ИИ —
orijinal