долгосрочные зависимости плохо улавливаются. Резервуарные вычисления полностью обходят эту проблему, не распространяя градиенты через рекуррентные веса. Архитектура состоит из случайной входной матрицы, большого случайного рекуррентного резервуара и обучаемого выходного слоя. Состояние резервуара обновляется как x(t) = tanh(W*x(t-1) + W_in*u(t)), а выход y(t) = W_out*x(t). Обучение W_out выполняется с помощью гребневой регрессии, решая одно уравнение, что делает его на порядки быстрее, чем обучение LSTM. Ключевым условием является свойство эхо-состояния, обеспечиваемое установкой спектрального радиуса матрицы весов резервуара ниже 1. Резервуар проецирует вход в многомерное пространство, где паттерны становятся линейно разделимыми. Резервуарные вычисления были независимо предложены в 2001 году Гербертом Егером как сети эхо-состояний и в 2002 году Вольфгангом Маасом как жидкостные машины; термин «резервуарные вычисления» был введен позже, в 2005-2007 годах. Также были продемонстрированы физические резервуары, например, ведро с водой. Применения включают прогнозирование хаотических систем, распознавание речи на встроенных устройствах и управление роботами. К ограничениям относятся ручная настройка размера резервуара и спектрального радиуса, а также низкая производительность на очень длинных зависимостях по сравнению с трансформерами. В последние годы резервуарные вычисления менее заметны, но актуальны в физическом ИИ и нейроморфных системах, таких как Intel Loihi 2.