आपका न्यूरल नेटवर्क बैकटेस्ट ±10 प्रतिशत अंकों से झूठ बोलता है
Hugging Face
एक इंजीनियर ने परीक्षण किया कि क्या न्यूरल नेटवर्क मॉस्को एक्सचेंज पर व्यापार कर सकता है। वॉक-फॉरवर्ड बैकटेस्ट ने केवल रैंडम सीड बदलने के कारण रिटर्न +6% से +15% तक भिन्न दिखाया, जिसमें शार्प अनुपात नकारात्मक से 1.28 तक रहा। लेखक एक प्रोटोकॉल प्रस्तावित करता है: सीड्स के समूह का उपयोग करें, समूह की तुलना समूह से करें, और लाभ को वास्तविक फीचर तंत्र से जोड़ें।
लेखक ने मॉस्को एक्सचेंज के 20 सबसे अधिक तरल शेयरों (2021-2026, ~370,000 बार) के प्रति घंटा डेटा के साथ एक कठोर वॉक-फॉरवर्ड बैकटेस्टिंग पाइपलाइन स्थापित की, जिसमें GRU आवर्तक नेटवर्क, मूल्य वृद्धि के लिए द्विआधारी वर्गीकरण और यथार्थवादी ब्रोकर शुल्क का उपयोग किया गया। उन्होंने प्रशिक्षण और परीक्षण के बीच अंतराल जोड़कर, अगले बार की कीमत पर निष्पादन करके और कमीशन शामिल करके कोई लुक-आगे रिसाव सुनिश्चित नहीं किया। इसके बावजूद, केवल यादृच्छिक बीज बदलने से वार्षिक रिटर्न +6% से +15% हो गया, और पांच समान रन में अलग-अलग बीजों के साथ शार्प अनुपात -0.12 से +0.85 (बाद में 0.39 से 1.28) तक रहा। ऐसा इसलिए होता है क्योंकि वित्तीय संकेत बहुत छोटा है (AUC 0.54-0.55), और हानि परिदृश्य लगभग सपाट है, इसलिए यादृच्छिक आरंभीकरण अति-अनुकूलन पैटर्न निर्धारित करता है। लेखक अनुशंसा करता है: (1) हमेशा विभिन्न बीजों के साथ मॉडलों का एक समूह उपयोग करें (संभावनाओं को औसत करना), जिसने शार्प को सर्वोत्तम एकल 1.28 बनाम 1.88 तक बढ़ा दिया; (2) नए विचारों की तुलना समूह बनाम समूह से करें, एकल रन से नहीं; (3) विशेषता का श्रेय देखें कि क्या लाभ उन प्रतिभूतियों से आता है जहां सुविधा वास्तव में मौजूद है। वे तीन मामले देते हैं जहां स्पष्ट सुधार श्रेय के बाद गायब हो गए, यह साबित करते हुए कि लाभ सिर्फ फेरबदल किया गया शोर था। एक जमे हुए सिस्टम पर, 2015-2020 डेटा पर परीक्षण ने बिना पुनर्प्रशिक्षण के -28% दिया, लेकिन पूर्ण वॉक-फॉरवर्ड पुनर्प्रशिक्षण के साथ +17% दिया, यह निष्कर्ष निकाला कि बाजार व्यवस्था परिवर्तनों के अनुकूल होने के लिए नियमित पुनर्प्रशिक्षण आवश्यक है। लेखक जल्द ही वास्तविक धन का व्यापार करने की योजना बना रहा है और सार्वजनिक ट्रैक रिकॉर्ड प्रकाशित करेगा।
स्रोत: Habr — хаб ML —
मूल
