Pourquoi mon modèle ne fonctionne-t-il pas ?

Cet article, basé sur les 20 ans d'expérience de l'auteur en apprentissage automatique et sur l'article « Comment éviter les pièges de l'apprentissage automatique : un guide pour les chercheurs académiques », décrit les erreurs courantes qui conduisent à l'échec des modèles en production. Premièrement, les données trompeuses : les variables cachées (par exemple, l'orientation du corps dans les scanners thoraciques pour le Covid) et les corrélations fallacieuses (par exemple, les pixels d'arrière-plan dans les images de chars) amènent les modèles à apprendre des schémas non pertinents. Les attaques adversariales exploitent ces corrélations fallacieuses. Les erreurs d'étiquetage, même à quelques pour cent, peuvent fausser les comparaisons de références. Deuxièmement, les fuites de données : effectuer un prétraitement dépendant des données (centrage, mise à l'échelle, sélection de caractéristiques, augmentation des données) sur l'ensemble des données avant de séparer les données de test fait fuiter des informations, gonflant les performances. Le biais de regard en avant dans la prévision de séries temporelles et le surajustement itératif de l'ensemble de test (entraînement sur l'ensemble de test) sont des fuites courantes. Troisièmement, les métriques inappropriées : l'utilisation de la précision sur des données déséquilibrées peut être trompeuse. L'auteur recommande la liste de vérification REFORMS pour la science basée sur l'apprentissage automatique et des pratiques telles que l'examen des cartes de saillance, l'utilisation de multiples références et la garantie de divisions appropriées des données.