Muista Kaikki: Neuroverkkojen Painospektri
PyTorch
Artikkelissa osoitetaan, että tieto harjoittelusta säilyy neuroverkon painospektrissä. Vaikka suodatuksen ja posterisoinnin jälkeen dataa ei täysin pyyhitä, hienosäätö voi käyttää näitä kertoimia alkuarvoina. Lisäksi posterisoidut spektrikertoimet vievät huomattavasti vähemmän tilaa, mikä on hyödyllistä neuroverkkojen suunnittelussa.
Habr-kirjoittajan artikkeli tutkii neuroverkon painojen spektriominaisuuksia. Hän luo yksinkertaisen neuroverkon Colabissa luokittelemaan suorakulmioita ja neliöitä, generoimalla satunnaisia suorakulmioita 8 kärkipisteen koordinaateilla syötteenä ja binäärisillä tunnisteilla. Mallissa on kaksi lineaarista kerrosta ReLU-aktivaatiolla, ja se on koulutettu 10 epochin ajan saavuttaen yli 99 prosentin tarkkuuden. Koulutuksen jälkeen painoja analysoidaan diskreetin Fourier-muunnoksen (DFT) avulla. Kirjoittaja havaitsee, että kun spektrikertoimiin sovelletaan tasoitussuodatinta ja posterisointia, olennainen tieto harjoittelusta säilyy, ja sitä voidaan käyttää hienosäätöön alkuolosuhteina. Posterisoitu spektriesitys vie merkittävästi vähemmän tilaa kuin alkuperäiset painot, mikä tarjoaa mahdollisen pakkaustekniikan. Kirjoittaja ehdottaa, että tämä vaikutus on mielenkiintoinen neuroverkkojen suunnittelun kannalta, ja antaa koodin md-summaries-tiedostossa tekoälyagenttien kehotteina.
Lähde: Хабр — Data Mining —
Alkuperäinen