记住一切：神经网络的权重谱

一篇由Habr作者撰写的文章探讨了神经网络权重的频谱特性。他们在Colab中创建了一个简单的神经网络，用于分类矩形和正方形，输入为随机生成的8个顶点坐标，标签为二值。模型包含两个线性层，采用ReLU激活函数，训练了10个周期，准确率超过99%。训练后，使用离散傅里叶变换（DFT）分析权重。作者发现，在对频谱系数应用平滑滤波和色调分离后，有关训练的关键信息得以保留，可作为初始条件用于微调。色调分离后的频谱表示占用的空间远小于原始权重，提供了一种潜在的压缩技术。作者认为，这一效应对于神经网络设计颇具趣味，并在md-summaries中提供了相应的代码，作为AI代理的提示词。