なぜ私のモデルはうまく動かないのか？

この記事は、著者の20年にわたる機械学習の経験と論文「How to avoid machine learning pitfalls: a guide for academic researchers」に基づき、モデルが本番環境で失敗する原因となる一般的な誤りを概説する。第一に、誤解を招くデータ：隠れた変数（例：新型コロナウイルスの胸部スキャンにおける体位）や見せかけの相関（例：戦車画像の背景ピクセル）により、モデルは無関係なパターンを学習してしまう。敵対的攻撃はこうした見せかけの相関を利用する。ラベリングの誤りは、数パーセントであっても、ベンチマーク比較を歪める可能性がある。第二に、データリーク：データ依存の前処理（センタリング、スケーリング、特徴量選択、データ拡張）をテストデータ分割前の全データセットに施すと、情報がリークして性能が水増しされる。時系列予測における先読みバイアスやテストセットへの反復的なオーバーフィッティング（テストセットに合わせた学習）は、一般的なリークである。第三に、不適切な指標：不均衡データに対して精度を使用することは誤解を招く可能性がある。著者は、機械学習を用いた科学のためのREFORMSチェックリストや、顕著性マップの調査、複数のベンチマークの使用、適切なデータ分割の確保などの実践を推奨している。