Alles Onthouden: Het Gewichtsspectrum van Neurale Netwerken

Het artikel van een Habr-auteur onderzoekt de spectrale eigenschappen van neurale netwerkgewichten. Ze maken een eenvoudig neuraal netwerk in Colab om rechthoeken en vierkanten te classificeren, waarbij willekeurige rechthoeken met 8 hoekpuntcoördinaten als invoer en binaire labels worden gegenereerd. Het model heeft twee lineaire lagen met ReLU-activering, getraind gedurende 10 epochs met een nauwkeurigheid van meer dan 99%. Na de training worden de gewichten geanalyseerd met behulp van de discrete fouriertransformatie (DFT). De auteur ontdekt dat na het toepassen van een smoothingfilter en posterisatie op de spectrale coëfficiënten, de essentiële informatie over de training behouden blijft, wat kan worden gebruikt voor fine-tuning als begincondities. De geposteriseerde spectrale representatie neemt aanzienlijk minder ruimte in dan de oorspronkelijke gewichten, wat een potentiële compressietechniek biedt. De auteur suggereert dat dit effect interessant is voor het ontwerpen van neurale netwerken en biedt de code in md-summaries als prompts voor AI-agenten.