Votre backtest de réseau de neurones ment de ±10 points de pourcentage
Hugging Face
Un ingénieur a testé si un réseau de neurones peut trader sur la Bourse de Moscou. Un backtest walk-forward a montré des rendements variant de +6% à +15% uniquement en changeant la graine aléatoire, avec des ratios de Sharpe allant de négatif à 1,28. L'auteur propose un protocole : utiliser des ensembles de graines, comparer ensemble contre ensemble, et attribuer les gains au mécanisme réel des caractéristiques.
L'auteur a mis en place un pipeline rigoureux de backtesting avec déroulement chronologique (walk-forward), utilisant des données horaires de 20 actions parmi les plus liquides de la Bourse de Moscou (2021-2026, environ 370 000 barres), avec un réseau récurrent GRU, une classification binaire pour prédire la hausse du prix sur un horizon donné, et des frais de courtage réalistes. Il a veillé à éviter toute fuite d'information en introduisant un intervalle entre l'entraînement et le test, en exécutant les ordres au prix de la barre suivante et en incluant les commissions. Malgré cela, en modifiant uniquement la graine aléatoire, les rendements annuels sont passés de +6 % à +15 %, et sur cinq exécutions identiques avec des graines différentes, les ratios de Sharpe variaient de -0,12 à +0,85 (plus tard de 0,39 à 1,28). Cela s'explique par le fait que le signal financier est très faible (AUC de 0,54 à 0,55) et que la surface de perte est presque plate, de sorte que l'initialisation aléatoire détermine les motifs de surapprentissage. L'auteur recommande : (1) d'utiliser systématiquement un ensemble de modèles avec des graines différentes (en moyennant les probabilités), ce qui a fait passer le ratio de Sharpe à 1,88 contre 1,28 pour le meilleur modèle individuel ; (2) de comparer les nouvelles idées en utilisant des ensembles contre des ensembles, et non des exécutions individuelles ; (3) d'effectuer une attribution pour voir si le gain provient des titres où la caractéristique existe réellement. Il donne trois cas où des améliorations apparentes ont disparu après attribution, prouvant que les gains n'étaient que du bruit remanié. Sur un système figé, les tests sur les données de 2015 à 2020 ont donné -28 % sans réentraînement, mais +17 % avec un réentraînement complet en walk-forward, concluant que le réentraînement régulier est essentiel pour s'adapter aux changements de régime du marché. L'auteur prévoit de trader avec de l'argent réel bientôt et publiera un historique de performance public.
Source: Habr — хаб ML —
original