Tutkimus 🇷🇺 05.08.2026 04:05

Neuraaliverkko, jota ei juuri kouluteta, eli mitä säiliölaskenta on

Intel CorporationIntel Corporation
Säiliölaskenta on epätavanomainen koneoppimismenetelmä, jossa suurin osa verkon painoista luodaan satunnaisesti eikä niitä koskaan muuteta, ja vain ulostulokerros koulutetaan. Tämä välttää toistuvien neuroverkkojen katoavan/räjähtävän gradientin ongelman ja mahdollistaa erittäin nopean koulutuksen. Artikkeli selittää arkkitehtuurin, kaikuresonanssiominaisuuden ja sovellukset, ja huomauttaa myös, että fyysiset järjestelmät, kuten vesiämpäri, voivat toimia säiliöinä.
Koneoppimisessa vakiokäytäntö on kouluttaa kaikki verkon painot takaisinkytkennän avulla. Reservilaskenta kääntää tämän toisinpäin: suurin osa painoista on satunnaisia ja kiinteitä, vain ulostulokerros koulutetaan. Tätä motivoi toistuvien neuroverkkojen (RNN) kouluttamisen vaikeus, joka johtuu katoavista ja räjähtävistä gradienteista, jolloin pitkäaikaiset riippuvuudet jäävät huonosti havaituiksi. Reservilaskenta ohittaa tämän täysin välittämättä gradienteista toistuvien painojen läpi. Arkkitehtuuri koostuu satunnaisesta syötematriisista, suuresta satunnaisesta toistuvasta reservistä ja koulutettavasta lukukerroksesta. Reservin tila päivittyy kaavalla x(t) = tanh(W*x(t-1) + W_in*u(t)), ja ulostulo on y(t) = W_out*x(t). W_out:n koulutus tehdään harjanne regressiolla, ratkaisten yksi yhtälö, mikä tekee siitä kertaluokkia nopeampaa kuin LSTM:n koulutus. Keskeinen ehto on kaikuehto, joka varmistetaan asettamalla reservin painomatriisin spektraalisäde alle 1. Reservi projisoi syötteen korkeaulotteiseen avaruuteen, jossa kuviot muuttuvat lineaarisesti eroteltaviksi. Reservilaskenta ehdotettiin itsenäisesti vuonna 2001 Herbert Jaegerin toimesta kaikuverkkoina ja vuonna 2002 Wolfgang Maassin toimesta nestemäisinä tilakoneina; termi 'reservilaskenta' lanseerattiin myöhemmin vuosina 2005–2007. Myös fyysisiä reserverejä, kuten ämpärillinen vettä, on demonstroitu. Sovelluksiin kuuluvat kaoottisten järjestelmien ennustaminen, puheentunnistus sulautetuilla laitteilla ja robottiohjaus. Rajoitteita ovat reservin koon ja spektraalisäteen manuaalinen viritys sekä heikko suorituskyky hyvin pitkissä riippuvuuksissa verrattuna transformereihin. Viime vuosina reservilaskenta on ollut vähemmän näkyvää, mutta se on relevanttia fyysisessä tekoälyssä ja neuromorfisissa järjestelmissä, kuten Intel Loihi 2.
Lähde: Habr — хаб ML — Alkuperäinen
Aiemmat aiheeseen liittyvät kirjoituksemme ↓
Tuoreet uutiset