すべてを記憶する：ニューラルネットワークの重みスペクトルの重み付け

Habrの著者による記事では、ニューラルネットワークの重みのスペクトル特性を探求しています。彼らはColabで単純なニューラルネットワークを作成し、長方形と正方形を分類します。入力として8つの頂点座標を持つランダムな長方形を生成し、バイナリラベルを付けます。モデルはReLU活性化を持つ2つの線形層で構成され、10エポックトレーニングされ、99%以上の精度を達成します。トレーニング後、離散フーリエ変換（DFT）を使用して重みを解析します。著者は、スムージングフィルタとポスタリゼーションをスペクトル係数に適用した後、トレーニングに関する重要な情報が残り、それが初期条件としての微調整に使用できることを発見します。ポスタリゼーションされたスペクトル表現は元の重みよりもはるかに少ないスペースを占有し、潜在的な圧縮技術を提供します。著者は、この効果がニューラルネットワーク設計にとって興味深いと示唆し、AIエージェント向けのプロンプトとしてmd-summariesにコードを提供しています。