الشبكة العصبية التي لا يتم تدريبها تقريبًا، أو ما هي الحوسبة الخزانية

في التعلم الآلي، الممارسة القياسية هي تدريب جميع أوزان الشبكة عبر الانتشار العكسي. الحوسبة الخزانية تقلب هذا الأمر: معظم الأوزان عشوائية وثابتة، ويتم تدريب طبقة الإخراج فقط. ويرجع ذلك إلى صعوبة تدريب الشبكات العصبية المتكررة بسبب مشكلة التدرجات المتلاشية أو المتفجرة، حيث لا يتم التقاط الاعتماديات طويلة المدى بشكل جيد. الحوسبة الخزانية تتجاوز هذه المشكلة تمامًا من خلال عدم نشر التدرجات عبر الأوزان المتكررة. يتكون البنية من مصفوفة إدخال عشوائية، وخزان متكرر عشوائي كبير، وطبقة قراءة قابلة للتدريب. يتم تحديث حالة الخزان بالمعادلة x(t) = tanh(W*x(t-1) + W_in*u(t))، والإخراج هو y(t) = W_out*x(t). يتم تدريب W_out باستخدام انحدار التلال (Ridge Regression)، عن طريق حل معادلة واحدة، مما يجعلها أسرع بمراتب حجمية من تدريب شبكة LSTM. الشرط الأساسي هو خاصية حالة الصدى، والتي يتم ضمانها عن طريق ضبط نصف القطر الطيفي لمصفوفة أوزان الخزان على قيمة أقل من 1. يقوم الخزان بإسقاط الإدخال في فضاء عالي الأبعاد حيث تصبح الأنماط قابلة للفصل خطيًا. تم اقتراح الحوسبة الخزانية بشكل مستقل في عام 2001 من قبل هربرت جايجر باسم شبكات حالة الصدى، وفي عام 2002 من قبل فولفغانغ ماس باسم آلات الحالة السائلة؛ وقد صيغ مصطلح 'الحوسبة الخزانية' لاحقًا في الفترة 2005-2007. كما تم عرض خزانات فيزيائية، مثل دلو من الماء. تشمل التطبيقات التنبؤ بالأنظمة الفوضوية، والتعرف على الكلام في الأجهزة المدمجة، والتحكم في الروبوتات. تشمل القيود الضبط اليدوي لحجم الخزان ونصف القطر الطيفي، والأداء الضعيف على الاعتماديات الطويلة جدًا مقارنة بالمحولات. في السنوات الأخيرة، أصبحت الحوسبة الخزانية أقل بروزًا، ولكنها ذات صلة في الذكاء الاصطناعي الفيزيائي والأنظمة العصبية الشكلية مثل إنتل لوهي 2.