Помнить всё: спектр весов нейронных сетей
В статье показано, что информация об обучении сохраняется в спектре весов нейронной сети. Даже после фильтрации и постеризации данные полностью не стираются, что позволяет тонкой настройке использовать эти коэффициенты в качестве начальных условий. Кроме того, постеризованные спектральные коэффициенты занимают значительно меньше места, что полезно при проектировании нейронных сетей.
Статья автора Хабра исследует спектральные свойства весов нейронных сетей. Он создает простую нейронную сеть в Colab для классификации прямоугольников и квадратов, генерируя случайные прямоугольники с 8 координатами вершин в качестве входных данных и бинарными метками. Модель имеет два линейных слоя с активацией ReLU, обучается на 10 эпохах и достигает точности более 99%. После обучения веса
Показать ещё ↓
Источник: Хабр — Data Mining —
оригинал