выборками, исполняя сделки по цене следующего бара и учитывая комиссии. Несмотря на это, изменение только лишь случайного зерна меняло годовую доходность с +6% до +15%, а в пяти идентичных запусках с разными зернами коэффициент Шарпа варьировался от -0,12 до +0,85 (позже — от 0,39 до 1,28). Это происходит потому, что финансовый сигнал крайне слаб (AUC 0,54–0,55), а ландшафт функции потерь почти плоский, поэтому случайная инициализация определяет паттерны переобучения. Автор рекомендует: (1) всегда использовать ансамбль моделей с разными зернами (усредняя вероятности), что повысило коэффициент Шарпа до 1,88 по сравнению с лучшей одиночной моделью (1,28); (2) сравнивать новые идеи «ансамбль против ансамбля», а не одиночные запуски; (3) проводить атрибуцию, чтобы проверить, исходит ли выигрыш от ценных бумаг, где признак действительно присутствует. Он приводит три случая, когда кажущиеся улучшения исчезали после атрибуции, доказывая, что выигрыши были лишь перемешанным шумом. На замороженной системе тестирование на данных 2015–2020 годов дало −28% без переобучения, но +17% с полным переобучением в режиме walk-forward, что привело к выводу о необходимости регулярного переобучения для адаптации к смене рыночных режимов. Автор планирует в ближайшее время начать торговлю на реальные деньги и опубликует публичный трек-рекорд.