(например, фоновые пиксели на изображениях танков) заставляют модели изучать нерелевантные закономерности. Атаки с использованием состязательных примеров эксплуатируют эти ложные корреляции. Ошибки разметки, даже в несколько процентов, могут исказить сравнение бенчмарков. Во-вторых, утечка данных: выполнение зависимой от данных предобработки (центрирование, масштабирование, отбор признаков, аугментация данных) на полном датасете до разделения тестовых данных приводит к утечке информации и завышению производительности. Смещение заглядывания в будущее при прогнозировании временных рядов и итеративный переобгон тестового набора (обучение под тестовый набор) являются распространенными утечками. В-третьих, неподходящие метрики: использование точности на несбалансированных данных может вводить в заблуждение. Автор рекомендует чек-лист REFORMS для науки на основе машинного обучения (машинного обучения) и такие практики, как изучение карт значимости, использование нескольких бенчмарков и обеспечение правильного разделения данных.