Нейросеть, которая почти не обучается, или что такое резервуарные вычисления
Резервуарные вычисления — это нетрадиционный подход к машинному обучению, при котором большинство весов сети генерируются случайным образом и никогда не изменяются, а обучается только выходной слой. Это позволяет избежать проблемы затухающих/взрывающихся градиентов в рекуррентных нейронных сетях и обеспечивает чрезвычайно быструю тренировку. В статье объясняется архитектура, свойство эхо-состояния и применение, а также отмечается, что физические системы, такие как ведро с водой, могут служить резервуарами.
В машинном обучении стандартной практикой является обучение всех весов сети через обратное распространение ошибки. Резервуарные вычисления переворачивают это представление: большинство весов являются случайными и фиксированными, обучается только выходной слой. Это обусловлено сложностью обучения рекуррентных нейронных сетей (РНС) из-за затухающих и взрывающихся градиентов, при которых
Показать ещё ↓
Источник: Habr — хаб ML —
оригинал