ニューラルネットワークのバックテストは±10ポイントの誤差がある

著者は、モスクワ証券取引所の流動性上位20銘柄の1時間足データ（2021年～2026年、約37万本）を用いて、厳密なウォークフォワード・バックテストのパイプラインを構築した。GRUリカレントネットワークを使用し、予測期間における価格上昇を二値分類で予測し、現実的な手数料を考慮した。また、学習データとテストデータの間にギャップを設け、次のバーの価格で実行し、手数料を含めることで、先読みリークを防いだ。それにもかかわらず、乱数シードを変更するだけで年間リターンが+6%から+15%に変化し、異なるシードを用いた5回の同一実行では、シャープレシオが-0.12から+0.85（後半では0.39から1.28）の範囲となった。これは、金融シグナルが非常に小さい（AUC 0.54～0.55）ことと、損失関数の形状がほぼ平坦であるため、ランダムな初期化が過学習のパターンを決定するためである。著者は、(1) 常に異なるシードのモデルのアンサンブルを使用し（確率を平均化）、これによりシャープレシオが最良の単一モデルの1.28に対して1.88に向上したこと、(2) 新しいアイデアは単一実行ではなくアンサンブル対アンサンブルで比較すること、(3) 特徴量が実際に存在する証券から利益が得られているかを確認するために帰属分析を実施すること、を推奨している。帰属分析により見かけ上の改善が消えた3つのケースを示し、その利益が単にノイズの再シャッフルであることを証明した。固定システムで2015年～2020年のデータをテストした結果、再学習なしでは-28%、完全なウォークフォワード再学習では+17%となり、市場環境の変化に適応するためには定期的な再学習が不可欠であると結論付けた。著者は近いうちに実際の取引を開始し、公開トラックレコードを公表する予定である。