वह न्यूरल नेटवर्क जो लगभग प्रशिक्षित नहीं होता, या रिज़र्वायर कंप्यूटिंग क्या है

मशीन लर्निंग में, मानक अभ्यास सभी नेटवर्क भारों को बैकप्रोपेगेशन के माध्यम से प्रशिक्षित करना है। रिजर्वायर कंप्यूटिंग इसे उलट देता है: अधिकांश भार यादृच्छिक और निश्चित होते हैं, केवल आउटपुट परत को प्रशिक्षित किया जाता है। यह आवर्तक तंत्रिका नेटवर्क (आरएनएन) को प्रशिक्षित करने की कठिनाई से प्रेरित है, जो लुप्त और विस्फोटक ग्रेडिएंट के कारण होती है, जहां दीर्घकालिक निर्भरताएं ठीक से पकड़ में नहीं आती हैं। रिजर्वायर कंप्यूटिंग आवर्तक भारों के माध्यम से ग्रेडिएंट प्रसारित न करके इस समस्या को पूरी तरह से टाल देता है। वास्तुकला में एक यादृच्छिक इनपुट मैट्रिक्स, एक बड़ा यादृच्छिक आवर्तक रिजर्वायर, और एक प्रशिक्षणीय रीडआउट परत शामिल होती है। रिजर्वायर स्थिति इस प्रकार अपडेट होती है: x(t) = tanh(W*x(t-1) + W_in*u(t)), और आउटपुट y(t) = W_out*x(t) है। W_out का प्रशिक्षण रिज रिग्रेशन के माध्यम से किया जाता है, जो एक ही समीकरण को हल करता है, जिससे यह एलएसटीएम को प्रशिक्षित करने की तुलना में कई गुना तेज होता है। मुख्य शर्त इको स्टेट प्रॉपर्टी है, जिसे रिजर्वायर वेट मैट्रिक्स के स्पेक्ट्रल रेडियस को 1 से नीचे रखकर सुनिश्चित किया जाता है। रिजर्वायर इनपुट को एक उच्च-आयामी स्थान में प्रोजेक्ट करता है जहां पैटर्न रैखिक रूप से अलग हो जाते हैं। रिजर्वायर कंप्यूटिंग को स्वतंत्र रूप से 2001 में हर्बर्ट जैगर द्वारा इको स्टेट नेटवर्क और 2002 में वोल्फगैंग मास द्वारा लिक्विड स्टेट मशीन के रूप में प्रस्तावित किया गया था; 'रिजर्वायर कंप्यूटिंग' शब्द बाद में 2005-2007 में गढ़ा गया। भौतिक रिजर्वायर, जैसे पानी की बाल्टी, का भी प्रदर्शन किया गया है। अनुप्रयोगों में अराजक प्रणाली भविष्यवाणी, एम्बेडेड उपकरणों पर भाषण पहचान, और रोबोट नियंत्रण शामिल हैं। सीमाओं में रिजर्वायर आकार और स्पेक्ट्रल रेडियस का मैन्युअल ट्यूनिंग, और ट्रांसफार्मर की तुलना में बहुत लंबी निर्भरताओं पर खराब प्रदर्शन शामिल है। हाल के वर्षों में, रिजर्वायर कंप्यूटिंग कम प्रमुख है, लेकिन भौतिक एआई और न्यूरोमॉर्फिक सिस्टम जैसे इंटेल लोही 2 में प्रासंगिक है।