거의 훈련되지 않는 신경망, 혹은 리저버 컴퓨팅이란 무엇인가

머신러닝에서 표준적인 방식은 역전파(backpropagation)를 통해 모든 네트워크 가중치를 학습시키는 것입니다. 반면, 리저버 컴퓨팅(Reservoir Computing)은 이와 반대로, 대부분의 가중치는 무작위로 고정시키고 출력 레이어만 학습시킵니다. 이러한 접근법은 순환 신경망(RNN)의 기울기 소실(vanishing gradient) 및 기울기 폭발(exploding gradient) 문제로 인해 장기 의존성을 제대로 학습하기 어렵다는 점에서 동기가 부여되었습니다. 리저버 컴퓨팅은 순환 가중치를 통해 기울기를 전파하지 않음으로써 이러한 문제를 완전히 우회합니다. 아키텍처는 무작위 입력 행렬, 대규모 무작위 순환 리저버, 학습 가능한 출력 레이어로 구성됩니다. 리저버 상태는 x(t) = tanh(W*x(t-1) + W_in*u(t))로 업데이트되고, 출력은 y(t) = W_out*x(t)로 계산됩니다. W_out은 릿지 회귀(ridge regression)를 통해 학습되며, 단일 방정식을 풀기 때문에 LSTM을 학습시키는 것보다 몇 배는 빠릅니다. 핵심 조건은 에코 상태 속성(echo state property)으로, 리저버 가중치 행렬의 스펙트럼 반경을 1보다 작게 설정하여 보장합니다. 리저버는 입력을 고차원 공간으로 투영하여 패턴이 선형적으로 분리 가능하게 만듭니다. 리저버 컴퓨팅은 2001년 Herbert Jaeger가 에코 상태 네트워크(Echo State Network)로, 2002년 Wolfgang Maass가 액체 상태 머신(Liquid State Machine)으로 각각 독립적으로 제안했으며, '리저버 컴퓨팅'이라는 용어는 2005~2007년에야 붙여졌습니다. 물통 같은 물리적 리저버도 시연된 바 있습니다. 응용 분야로는 혼돈 시스템 예측, 임베디드 기기에서의 음성 인식, 로봇 제어 등이 있습니다. 한계로는 리저버 크기와 스펙트럼 반경을 수동으로 조정해야 하며, 트랜스포머에 비해 매우 긴 의존성에서는 성능이 떨어진다는 점이 있습니다. 최근 몇 년간 리저버 컴퓨팅은 두드러지지 않지만, 물리적 AI 및 Intel Loihi 2와 같은 뉴로모픽 시스템에서 관련성이 있습니다.