Sich an alles erinnern: Das Gewichtsspektrum neuronaler Netze
PyTorch
Der Artikel zeigt, dass Informationen über das Training im Gewichtsspektrum eines neuronalen Netzes erhalten bleiben. Selbst nach Filterung und Posterisierung werden die Daten nicht vollständig gelöscht, sodass das Feintuning diese Koeffizienten als Ausgangsbedingungen nutzen kann. Darüber hinaus benötigen die posterisierten Spektralkoeffizienten deutlich weniger Speicherplatz, was für das Design neuronaler Netze nützlich ist.
Der Artikel eines Habr-Autors untersucht die spektralen Eigenschaften von neuronalen Netzwerkgewichten. Sie erstellen ein einfaches neuronales Netz in Colab, um Rechtecke und Quadrate zu klassifizieren, wobei sie zufällige Rechtecke mit 8 Eckpunktkoordinaten als Eingabe und binäre Labels generieren. Das Modell hat zwei lineare Schichten mit ReLU-Aktivierung und wird für 10 Epochen trainiert, wobei eine Genauigkeit von über 99 % erreicht wird. Nach dem Training werden die Gewichte mithilfe der diskreten Fourier-Transformation (DFT) analysiert. Der Autor stellt fest, dass nach Anwendung eines Glättungsfilters und einer Posterisierung auf die Spektralkoeffizienten die wesentlichen Informationen über das Training erhalten bleiben, die als Anfangsbedingungen für das Feintuning verwendet werden können. Die posterisierte spektrale Darstellung benötigt deutlich weniger Speicherplatz als die ursprünglichen Gewichte und bietet so eine potenzielle Kompressionstechnik. Der Autor schlägt vor, dass dieser Effekt für das Design neuronaler Netze interessant ist, und stellt den Code in md-summaries als Prompts für KI-Agenten bereit.
Quelle: Хабр — Data Mining —
Original