Uw neurale netwerk-backtest liegt met ±10 procentpunt

De auteur heeft een rigoureuze walk-forward backtesting-pipeline opgezet met uurlijkse data van de 20 meest liquide aandelen op de Moskouse effectenbeurs (2021-2026, ~370.000 bars), gebruikmakend van een GRU-recurrent netwerk, binaire classificatie voor prijsstijging over een horizon, en realistische makelaarskosten. Ze zorgden ervoor dat er geen look-ahead-lekkage was door een gat tussen training en test in te voegen, uit te voeren tegen de volgende bar-prijs, en commissies mee te nemen. Desondanks veranderde alleen het random seed de jaarlijkse rendementen van +6% naar +15%, en in vijf identieke runs met verschillende seeds varieerden de Sharpe-ratio's van -0,12 tot +0,85 (later 0,39 tot 1,28). Dit gebeurt omdat het financiële signaal klein is (AUC 0,54-0,55) en het verlieslandschap bijna vlak is, waardoor willekeurige initialisatie overfitpatronen bepaalt. De auteur raadt aan: (1) gebruik altijd een ensemble van modellen met verschillende seeds (gemiddelde van kansen), wat de Sharpe verhoogde tot 1,88 vergeleken met beste enkele van 1,28; (2) vergelijk nieuwe ideeën ensemble versus ensemble, niet enkele runs; (3) voer attributie uit om te zien of de winst komt van effecten waar het kenmerk daadwerkelijk bestaat. Ze geven drie gevallen waarin schijnbare verbeteringen verdwenen na attributie, wat bewijst dat de winsten slechts herschikte ruis waren. Op een bevroren systeem leverde testen op data van 2015-2020 -28% op zonder hertraining, maar +17% met volledige walk-forward-hertraining, wat concludeert dat regelmatige hertraining essentieel is om zich aan te passen aan veranderingen in marktregimes. De auteur is van plan om binnenkort met echt geld te handelen en zal een openbaar trackrecord publiceren.