Lembrar de Tudo: O Espectro de Pesos das Redes Neurais

O artigo de um autor do Habr explora as propriedades espectrais dos pesos de redes neurais. Eles criam uma rede neural simples no Colab para classificar retângulos e quadrados, gerando retângulos aleatórios com 8 coordenadas de vértices como entrada e rótulos binários. O modelo tem duas camadas lineares com ativação ReLU, treinado por 10 épocas, alcançando mais de 99% de precisão. Após o treinamento, os pesos são analisados usando a transformada discreta de Fourier (DFT). O autor descobre que, após aplicar um filtro de suavização e posterização aos coeficientes espectrais, a informação essencial sobre o treinamento permanece, podendo ser usada para ajuste fino como condições iniciais. A representação espectral posterizada ocupa significativamente menos espaço do que os pesos originais, oferecendo uma técnica potencial de compressão. O autor sugere que esse efeito é interessante para o design de redes neurais e fornece o código em md-summaries como prompts para agentes de IA.