Kenapa Model Saya Tidak Berfungsi?

Artikel ini, berdasarkan pengalaman penulis selama 20 tahun di ML dan makalah 'How to avoid machine learning pitfalls: a guide for academic researchers', menguraikan kesalahan umum yang menyebabkan model gagal dalam produksi. Pertama, data yang menyesatkan: variabel tersembunyi (misalnya, orientasi tubuh dalam pemindaian dada Covid) dan korelasi palsu (misalnya, piksel latar belakang dalam gambar tank) menyebabkan model mempelajari pola yang tidak relevan. Serangan adversarial mengeksploitasi korelasi palsu ini. Kesalahan pelabelan, meskipun hanya beberapa persen, dapat mendistorsi perbandingan tolok ukur. Kedua, kebocoran data: melakukan prapemrosesan yang bergantung pada data (pemusatan, penskalaan, seleksi fitur, augmentasi data) pada keseluruhan dataset sebelum memisahkan data uji akan membocorkan informasi, sehingga meningkatkan performa secara tidak realistis. Bias pandangan ke depan (look-ahead bias) dalam peramalan deret waktu dan overfitting iteratif pada set uji (melatih model hingga cocok dengan set uji) adalah kebocoran yang umum. Ketiga, metrik yang tidak tepat: menggunakan akurasi pada data tidak seimbang bisa menyesatkan. Penulis merekomendasikan daftar periksa REFORMS untuk sains berbasis ML dan praktik seperti memeriksa peta saliency, menggunakan beberapa tolok ukur, serta memastikan pemisahan data yang tepat.