Sich an alles erinnern: Das Gewichtsspektrum neuronaler Netze
Der Artikel zeigt, dass Informationen über das Training im Gewichtsspektrum eines neuronalen Netzes erhalten bleiben. Selbst nach Filterung und Posterisierung werden die Daten nicht vollständig gelöscht, sodass das Feintuning diese Koeffizienten als Ausgangsbedingungen nutzen kann. Darüber hinaus benötigen die posterisierten Spektralkoeffizienten deutlich weniger Speicherplatz, was für das Design neuronaler Netze nützlich ist.
PyTorch
