Recuerda Todo: El Espectro de Pesos de las Redes Neuronales

El artículo de un autor de Habr explora las propiedades espectrales de los pesos de las redes neuronales. Crean una red neuronal simple en Colab para clasificar rectángulos y cuadrados, generando rectángulos aleatorios con 8 coordenadas de vértices como entrada y etiquetas binarias. El modelo tiene dos capas lineales con activación ReLU, entrenado durante 10 épocas logrando una precisión superior al 99%. Después del entrenamiento, los pesos se analizan utilizando la transformada discreta de Fourier (DFT). El autor encuentra que después de aplicar un filtro de suavizado y posterización a los coeficientes espectrales, la información esencial sobre el entrenamiento permanece, la cual puede utilizarse para el ajuste fino como condiciones iniciales. La representación espectral posterizada ocupa significativamente menos espacio que los pesos originales, ofreciendo una posible técnica de compresión. El autor sugiere que este efecto es interesante para el diseño de redes neuronales y proporciona el código en md-summaries como indicaciones para agentes de inteligencia artificial.