ほとんど学習しないニューラルネットワーク、あるいはリザーバーコンピューティングとは何か

機械学習では、すべてのネットワークの重みをバックプロパゲーションによって訓練することが標準的な手法です。しかし、リザーバーコンピューティングはこれとは逆のアプローチを取ります。すなわち、ほとんどの重みはランダムに固定され、出力層のみが訓練されます。この手法は、リカレントニューラルネットワーク（recurrent neural network、RNN）の訓練が勾配の消失や爆発によって困難であり、長期的な依存関係をうまく捉えられないという問題に動機付けられています。リザーバーコンピューティングは、リカレントな重みを通じて勾配を伝播させないことで、この問題を完全に回避します。アーキテクチャは、ランダムな入力行列、大きなランダムなリカレントリザーバー、そして訓練可能な読み出し層から構成されます。リザーバーの状態は x(t) = tanh(W*x(t-1) + W_in*u(t)) として更新され、出力は y(t) = W_out*x(t) となります。W_out の訓練はリッジ回帰を用いて行われ、単一の方程式を解くだけで済むため、LSTM（Long Short-Term Memory）を訓練するよりも桁違いに高速です。重要な条件はエコー状態特性であり、これはリザーバーの重み行列のスペクトル半径を1未満に設定することで保証されます。リザーバーは入力パターンを高次元空間に投影し、そこで線形分離可能にします。リザーバーコンピューティングは、2001年にハーバート・イェーガーによってエコー状態ネットワークとして、また2002年にヴォルフガング・マースによって液体状態機械として独立に提案されました。「リザーバーコンピューティング」という用語は、後に2005年から2007年にかけて作られました。水の入ったバケツなどの物理的リザーバーも実証されています。応用には、カオス系の予測、組込み機器での音声認識、ロボット制御などがあります。限界としては、リザーバーのサイズとスペクトル半径の手動調整が必要なこと、また、トランスフォーマーと比較して非常に長い依存関係に対して性能が劣ることが挙げられます。近年、リザーバーコンピューティングはあまり注目されていませんが、物理AIやIntel Loihi 2などのニューロモルフィックシステムでは関連性があります。