Neredeyse Hiç Eğitilmeyen Sinir Ağı ya da Rezervuar Hesaplama Nedir?

Makine öğreniminde standart uygulama, tüm ağırlıkların geri yayılım yoluyla eğitilmesidir. Rezervuar hesaplama bunu tersine çevirir: çoğu ağırlık rastgeledir ve sabittir, yalnızca çıkış katmanı eğitilir. Bunun motivasyonu, kaybolan ve patlayan gradyanlar nedeniyle tekrarlayan sinir ağlarının (RNN'ler) eğitiminin zorluğudur; bu durumda uzun vadeli bağımlılıklar iyi yakalanamaz. Rezervuar hesaplama, tekrarlayan ağırlıklar üzerinden gradyan yaymadan bu sorunu tamamen bypass eder. Mimari; rastgele bir girdi matrisi, büyük bir rastgele tekrarlayan rezervuar ve eğitilebilir bir okuma katmanından oluşur. Rezervuar durumu x(t) = tanh(W*x(t-1) + W_in*u(t)) olarak güncellenir ve çıktı y(t) = W_out*x(t) şeklindedir. W_out eğitimi, tek bir denklemi çözen ridge regresyonu ile yapılır ve bu, LSTM eğitiminden kat kat daha hızlıdır. Ana koşul, rezervuar ağırlık matrisinin spektral yarıçapının 1'in altında ayarlanmasıyla sağlanan yankı durumu özelliğidir. Rezervuar, girdiyi, desenlerin doğrusal olarak ayrılabilir hale geldiği yüksek boyutlu bir uzaya yansıtır. Rezervuar hesaplama, 2001 yılında Herbert Jaeger tarafından yankı durumu ağları ve 2002 yılında Wolfgang Maass tarafından sıvı durum makineleri olarak bağımsız olarak önerilmiştir; 'rezervuar hesaplama' terimi daha sonra 2005-2007'de ortaya atılmıştır. Bir kova su gibi fiziksel rezervuarlar da gösterilmiştir. Uygulamalar arasında kaotik sistem tahmini, gömülü cihazlarda konuşma tanıma ve robot kontrolü yer alır. Sınırlamalar arasında rezervuar boyutunun ve spektral yarıçapın manuel ayarlanması ve transformatörlere kıyasla çok uzun bağımlılıklarda zayıf performans yer alır. Son yıllarda rezervuar hesaplama daha az öne çıkmakta, ancak fiziksel yapay zeka ve Intel Loihi 2 gibi nöromorfik sistemlerde önemini korumaktadır.