Pourquoi mon modèle ne fonctionne-t-il pas ?
L'article examine les pièges courants en apprentissage automatique qui provoquent l'échec des modèles en situation réelle, alors qu'ils semblent performants lors des tests. Les problèmes clés incluent des données trompeuses (variables cachées, corrélations fallacieuses, erreurs d'étiquetage), des fuites de données (prétraitement avant séparation, biais de regard en arrière, surapprentissage itératif sur l'ensemble de test) et un choix inapproprié des métriques (par exemple, l'exactitude sur des données déséquilibrées). L'auteur recommande la checklist REFORMS et des pratiques comme l'utilisation de cartes de saillance, de benchmarks diversifiés et de séparations de données appropriées pour améliorer la fiabilité des modèles.
Cet article, basé sur les 20 ans d'expérience de l'auteur en apprentissage automatique et sur l'article « Comment éviter les pièges de l'apprentissage automatique : un guide pour les chercheurs académiques », décrit les erreurs courantes qui conduisent à l'échec des modèles en production. Premièrement, les données trompeuses : les variables cachées (par exemple, l'orientation du corps dans les scanners thoraciques pour le Covid) et les corrélations fallacieuses (par exemple, les pixels d'arrière-plan dans les images de chars) amènent les modèles à apprendre des schémas non pertinents. Les attaques adversariales exploitent ces corrélations fallacieuses. Les erreurs d'étiquetage, même à quelques pour cent, peuvent fausser les comparaisons de références. Deuxièmement, les fuites de données : effectuer un prétraitement dépendant des données (centrage, mise à l'échelle, sélection de caractéristiques, augmentation des données) sur l'ensemble des données avant de séparer les données de test fait fuiter des informations, gonflant les performances. Le biais de regard en avant dans la prévision de séries temporelles et le surajustement itératif de l'ensemble de test (entraînement sur l'ensemble de test) sont des fuites courantes. Troisièmement, les métriques inappropriées : l'utilisation de la précision sur des données déséquilibrées peut être trompeuse. L'auteur recommande la liste de vérification REFORMS pour la science basée sur l'apprentissage automatique et des pratiques telles que l'examen des cartes de saillance, l'utilisation de multiples références et la garantie de divisions appropriées des données.
Source: The Gradient —
original