Jaringan Saraf yang Hampir Tidak Pernah Dilatih, atau Apa Itu Reservoir Computing

Dalam pembelajaran mesin, praktik standarnya adalah melatih semua bobot jaringan melalui propagasi balik. Reservoir computing membalik ini: sebagian besar bobot bersifat acak dan tetap, hanya lapisan keluaran yang dilatih. Hal ini dilatarbelakangi oleh sulitnya melatih jaringan saraf berulang (RNN) karena gradien yang menghilang dan meledak, di mana ketergantungan jangka panjang sulit ditangkap. Reservoir computing sepenuhnya menghindari masalah ini dengan tidak merambatkan gradien melalui bobot berulang. Arsitekturnya terdiri dari matriks masukan acak, reservoir berulang acak yang besar, dan lapisan pembaca yang dapat dilatih. Status reservoir diperbarui sebagai x(t) = tanh(W*x(t-1) + W_in*u(t)), dan keluarannya adalah y(t) = W_out*x(t). Pelatihan W_out dilakukan melalui regresi ridge, menyelesaikan satu persamaan tunggal, membuatnya jauh lebih cepat daripada melatih LSTM. Kondisi kuncinya adalah properti gema status, yang dijamin dengan mengatur radius spektral dari matriks bobot reservoir di bawah 1. Reservoir memproyeksikan masukan ke ruang berdimensi tinggi di mana pola menjadi dapat dipisahkan secara linear. Reservoir computing diusulkan secara independen pada tahun 2001 oleh Herbert Jaeger sebagai jaringan gema status dan pada tahun 2002 oleh Wolfgang Maass sebagai mesin status cair; istilah 'reservoir computing' diciptakan kemudian pada tahun 2005-2007. Reservoir fisik, seperti ember berisi air, juga telah didemonstrasikan. Aplikasinya mencakup prediksi sistem kacau, pengenalan ucapan pada perangkat tertanam, dan kontrol robot. Kekurangannya termasuk penyetelan manual ukuran reservoir dan radius spektral, serta kinerja yang buruk pada ketergantungan yang sangat panjang dibandingkan dengan transformer. Dalam beberapa tahun terakhir, reservoir computing kurang menonjol, tetapi relevan dalam AI fisik dan sistem neuromorfik seperti Intel Loihi 2.