Backtest Jaringan Saraf Anda Berbohong ±10 Poin Persentase

Penulis menyiapkan pipeline backtesting walk-forward yang ketat dengan data per jam dari 20 saham paling likuid di Bursa Moskow (2021-2026, ~370.000 bar), menggunakan jaringan berulang GRU, klasifikasi biner untuk kenaikan harga dalam horizon tertentu, dan biaya broker yang realistis. Mereka memastikan tidak ada kebocoran look-ahead dengan menambahkan jeda antara data latih dan data uji, mengeksekusi pada harga bar berikutnya, dan memasukkan komisi. Meskipun demikian, hanya mengubah seed acak mengubah return tahunan dari +6% menjadi +15%, dan dalam lima run identik dengan seed berbeda, rasio Sharpe berkisar dari -0,12 hingga +0,85 (kemudian 0,39 hingga 1,28). Ini terjadi karena sinyal finansialnya sangat kecil (AUC 0,54-0,55), dan permukaan loss hampir datar, sehingga inisialisasi acak menentukan pola overfitting. Penulis merekomendasikan: (1) selalu gunakan ensemble model dengan seed berbeda (merata-ratakan probabilitas), yang meningkatkan Sharpe menjadi 1,88 dibandingkan single terbaik 1,28; (2) bandingkan ide baru ensemble vs ensemble, bukan run tunggal; (3) lakukan atribusi untuk melihat apakah keuntungan berasal dari sekuritas yang sebenarnya memiliki fitur tersebut. Mereka memberikan tiga kasus di mana perbaikan yang tampak hilang setelah atribusi, membuktikan bahwa keuntungan hanyalah noise yang diacak ulang. Pada sistem yang dibekukan, pengujian pada data 2015-2020 menghasilkan -28% tanpa pelatihan ulang, tetapi +17% dengan pelatihan ulang walk-forward penuh, menyimpulkan bahwa pelatihan ulang berkala sangat penting untuk beradaptasi dengan perubahan rezim pasar. Penulis berencana untuk trading dengan uang sungguhan segera dan akan mempublikasikan rekam jejak publik.