Neuraaliverkkosi backtest valehtelee ±10 prosenttiyksikköä

Kirjoittaja rakensi tarkan walk-forward-backtesting-putkiston käyttäen tunnin välein päivittyvää dataa 20 likvideimmästä Moskovan pörssin osakkeesta (2021-2026, noin 370 000 palkkia), GRU-verkkopohjaisella toistuvalla neuroverkolla, binääriluokittelulla hinnannousulle tietyn ajanjakson yli ja realistisilla välittäjäpalkkioilla. Hän varmisti, ettei tulevaisuuden tietoa vuotanut asettamalla aukon koulutus- ja testidatan väliin, toteuttamalla kaupat seuraavan palkin hinnalla ja sisällyttämällä palkkiot. Tästä huolimatta pelkän satunnaissiemenen vaihtaminen muutti vuosituoton +6 prosentista +15 prosenttiin, ja viidessä identtisessä ajossa eri siemenillä Sharpen luvut vaihtelivat -0,12:sta +0,85:een (myöhemmin 0,39:stä 1,28:aan). Tämä johtuu siitä, että finanssisignaali on pieni (AUC 0,54-0,55) ja tappiofunktion pinta on lähes tasainen, joten satunnainen alustus määrää ylisovittamisen kuviot. Kirjoittaja suosittelee: (1) käytä aina mallien ensemblea eri siemenillä (todennäköisyyksien keskiarvo), mikä nosti Sharpen arvoon 1,88 verrattuna parhaan yksittäisen mallin 1,28:aan; (2) vertaile uusia ideoita ensemble vastaan ensemble, ei yksittäisiä ajoja; (3) tee attribuutio nähdäksesi, tuleeko voitto niistä arvopapereista, joissa ominaisuus todella on. Hän antaa kolme tapausta, joissa näennäiset parannukset katosivat attribuution jälkeen, mikä osoittaa, että voitot olivat vain uudelleenjärjesteltyä kohinaa. Jäädytetyllä järjestelmällä testaus vuosien 2015-2020 datalla tuotti -28 prosenttia ilman uudelleenkoulutusta, mutta +17 prosenttia täydellä walk-forward-uudelleenkoulutuksella, ja hän päätteli, että säännöllinen uudelleenkoulutus on välttämätöntä sopeutumiseksi markkinaregiimien muutoksiin. Kirjoittaja aikoo pian käydä kauppaa oikealla rahalla ja julkaisee julkisen seurantaraportin.