신경망 백테스트가 ±10%포인트 오차를 낸다

저자는 모스크바 거래소에서 가장 유동성이 높은 20개 주식의 시간별 데이터(2021~2026년, 약 370,000개 바)를 사용하여 엄격한 워크포워드 백테스팅 파이프라인을 구축했습니다. GRU 순환 신경망을 사용하고, 가격 상승을 이진 분류했으며, 현실적인 브로커 수수료를 적용했습니다. 훈련과 테스트 사이에 간격을 두고, 다음 바 가격으로 체결하며, 수수료를 포함하여 선견지명 누출이 없도록 했습니다. 그럼에도 불구하고 랜덤 시드를 바꾸기만 해도 연간 수익률이 +6%에서 +15%로 바뀌었고, 서로 다른 시드를 사용한 5번의 동일한 실행에서 샤프 비율은 -0.12에서 +0.85(나중에는 0.39에서 1.28)까지 다양했습니다. 이는 금융 신호가 매우 미미하고(AUC 0.54-0.55), 손실 함수 표면이 거의 평평하여 무작위 초기화가 과적합 패턴을 결정하기 때문입니다. 저자는 다음을 권장합니다: (1) 항상 서로 다른 시드를 사용한 모델 앙상블(확률 평균)을 사용할 것, 이는 최고 단일 모델의 1.28 대비 샤프 비율을 1.88로 끌어올렸습니다. (2) 새로운 아이디어를 단일 실행이 아닌 앙상블 대 앙상블로 비교할 것. (3) 이득이 실제로 특성이 존재하는 증권에서 발생하는지 확인하기 위해 기여도 분석을 수행할 것. 겉보기 개선이 기여도 분석 후 사라진 세 가지 사례를 제시하며, 이는 이득이 단지 재구성된 노이즈에 불과함을 증명합니다. 동결된 시스템을 2015-2020년 데이터로 테스트한 결과, 재훈련 없이는 -28%의 수익률을 보였지만, 전체 워크포워드 재훈련을 거치면 +17%를 기록했습니다. 이는 시장 체제 변화에 적응하기 위해 정기적인 재훈련이 필수적임을 시사합니다. 저자는 곧 실거래를 시작할 계획이며 공개 실적을 발표할 예정입니다.