Mengingat Semua: Spektrum Bobot Jaringan Saraf
PyTorch
Artikel ini menunjukkan bahwa informasi tentang pelatihan tetap tersimpan dalam spektrum bobot jaringan saraf. Bahkan setelah penyaringan dan posterisasi, data tidak sepenuhnya terhapus, sehingga fine-tuning dapat menggunakan koefisien-koefisien ini sebagai kondisi awal. Selain itu, koefisien spektral yang telah diposterisasi memakan jauh lebih sedikit ruang, yang berguna untuk desain jaringan saraf.
Artikel oleh penulis Habr ini mengeksplorasi sifat spektral dari bobot jaringan saraf. Mereka membuat jaringan saraf sederhana di Colab untuk mengklasifikasikan persegi panjang dan bujur sangkar, menghasilkan persegi panjang acak dengan 8 koordinat simpul sebagai input dan label biner. Model ini memiliki dua lapisan linear dengan aktivasi ReLU, dilatih selama 10 epoch mencapai akurasi lebih dari 99%. Setelah pelatihan, bobot dianalisis menggunakan transformasi Fourier diskrit (DFT). Penulis menemukan bahwa setelah menerapkan filter penghalusan dan posterisasi pada koefisien spektral, informasi penting tentang pelatihan tetap ada, yang dapat digunakan untuk penyesuaian halus sebagai kondisi awal. Representasi spektral yang diposterisasi membutuhkan ruang yang jauh lebih sedikit daripada bobot asli, menawarkan teknik kompresi yang potensial. Penulis menyarankan efek ini menarik untuk desain jaringan saraf dan menyediakan kode dalam ringkasan-md sebagai prompt untuk agen AI.
Sumber: Хабр — Data Mining —
asli