Ihr neuronales Netzwerk-Backtest lügt um ±10 Prozentpunkte

Der Autor hat eine strenge Walk-Forward-Backtesting-Pipeline mit stündlichen Daten der 20 liquidesten Moskauer Börsenaktien (2021-2026, ~370.000 Bars) eingerichtet, wobei er ein GRU-Recurrent-Netzwerk, binäre Klassifikation für einen Preisanstieg über einen Horizont und realistische Maklergebühren verwendet. Er stellte sicher, dass es keine Look-Ahead-Leckage gab, indem er eine Lücke zwischen Training und Test einfügte, zum nächsten Bar-Preis ausführte und Provisionen einbezog. Trotzdem änderte sich bei einem Wechsel des Zufallsseed die jährliche Rendite von +6% auf +15%, und in fünf identischen Läufen mit verschiedenen Seeds lagen die Sharpe-Ratios zwischen -0,12 und +0,85 (später 0,39 bis 1,28). Dies geschieht, weil das Finanzsignal winzig ist (AUC 0,54-0,55) und die Verlustlandschaft fast flach ist, sodass die zufällige Initialisierung die Overfitting-Muster bestimmt. Der Autor empfiehlt: (1) immer ein Ensemble von Modellen mit verschiedenen Seeds zu verwenden (Mittelung der Wahrscheinlichkeiten), was die Sharpe-Ratio auf 1,88 gegenüber besten einzelnen 1,28 erhöhte; (2) neue Ideen Ensemble gegen Ensemble zu vergleichen, nicht einzelne Läufe; (3) eine Attribution durchzuführen, um zu sehen, ob der Gewinn aus Wertpapieren stammt, in denen das Merkmal tatsächlich existiert. Sie geben drei Fälle an, in denen scheinbare Verbesserungen nach der Attribution verschwanden, was beweist, dass die Gewinne nur neu gemischtes Rauschen waren. Bei einem eingefrorenen System ergab ein Test auf Daten von 2015-2020 -28% ohne erneutes Training, aber +17% mit vollständigem Walk-Forward-Retraining, was zu dem Schluss führt, dass regelmäßiges erneutes Training für die Anpassung an Marktregimewechsel unerlässlich ist. Der Autor plant, bald echtes Geld zu handeln und wird eine öffentliche Erfolgsbilanz veröffentlichen.