Sinir Ağı Geri Testleriniz ±10 Puan Sapıyor

Yazar, Moskova Borsası'ndaki en likit 20 hisse senedinin saatlik verileriyle (2021-2026, ~370.000 bar) titiz bir walk-forward backtest hattı kurdu; GRU tekrarlayan ağı, fiyat artışı için ikili sınıflandırma ve gerçekçi komisyon ücretleri kullandı. Eğitim ve test arasına boşluk ekleyerek, bir sonraki bar fiyatından işlem yaparak ve komisyonları dahil ederek geleceğe bakma (look-ahead) sızıntısını önledi. Buna rağmen, sadece rastgele tohumu değiştirmek yıllık getirileri +%6'dan +%15'e değiştirdi ve farklı tohumlarla yapılan beş özdeş çalıştırmada Sharpe oranları -0.12 ile +0.85 arasında değişti (daha sonra 0.39 ile 1.28 arasında). Bunun nedeni, finansal sinyalin çok küçük olması (AUC 0.54-0.55) ve kayıp fonksiyonunun neredeyse düz olmasıdır; bu nedenle rastgele başlatma, aşırı öğrenme modellerini belirler. Yazar şunları önerir: (1) her zaman farklı tohumlara sahip bir model topluluğu kullanın (olasılıkların ortalaması alınarak), bu, Sharpe oranını en iyi tekil modelin 1.28'ine kıyasla 1.88'e yükseltti; (2) yeni fikirleri tekil çalıştırmalarla değil, topluluk ile topluluk kıyaslayın; (3) kazancın, özelliğin gerçekten var olduğu menkul kıymetlerden gelip gelmediğini görmek için atıf (attribution) yapın. Görünür iyileştirmelerin atıftan sonra kaybolduğu üç örnek veriyor ve bu kazançların sadece yeniden karıştırılmış gürültü olduğunu kanıtlıyor. Dondurulmuş bir sistemde, 2015-2020 verileri üzerinde test, yeniden eğitim olmadan -%28 getiri sağlarken, tam walk-forward yeniden eğitimle +%17 getiri sağladı; bu da düzenli yeniden eğitimin piyasa rejimi değişikliklerine uyum sağlamak için gerekli olduğu sonucuna varıyor. Yazar yakında gerçek parayla işlem yapmayı planlıyor ve halka açık bir performans geçmişi yayınlayacak.