Her Şeyi Hatırla: Sinir Ağlarının Ağırlık Spektrumu

Habr yazarının makalesi, sinir ağı ağırlıklarının spektral özelliklerini inceliyor. Colab'da kareleri ve dikdörtgenleri sınıflandırmak için basit bir sinir ağı oluşturuyorlar; girdi olarak 8 köşe koordinatına sahip rastgele dikdörtgenler üretip ikili etiketler kullanıyorlar. Model, ReLU aktivasyonlu iki doğrusal katmandan oluşuyor ve 10 epoch boyunca eğitilerek %99'un üzerinde doğruluk elde ediyor. Eğitimden sonra ağırlıklar, ayrık Fourier dönüşümü (DFT) kullanılarak analiz ediliyor. Yazar, spektral katsayılara yumuşatma filtresi ve posterizasyon uygulandıktan sonra eğitimle ilgili temel bilgilerin korunduğunu ve bunun ince ayar için başlangıç koşulları olarak kullanılabileceğini buluyor. Posterize edilmiş spektral gösterim, orijinal ağırlıklardan önemli ölçüde daha az yer kaplıyor ve potansiyel bir sıkıştırma tekniği sunuyor. Yazar, bu etkinin sinir ağı tasarımı için ilginç olduğunu öne sürüyor ve kodu yapay zeka aracıları için ipucu olarak md-summaries içinde sağlıyor.