Warum funktioniert mein Modell nicht?

Der Artikel basiert auf den 20-jährigen Erfahrungen des Autors mit maschinellem Lernen (ML) und dem Paper 'How to avoid machine learning pitfalls: a guide for academic researchers'. Er skizziert häufige Fehler, die dazu führen, dass Modelle in der Produktion scheitern. Erstens irreführende Daten: Versteckte Variablen (z. B. Körperausrichtung bei Covid-Brustscans) und Scheinkorrelationen (z. B. Hintergrundpixel bei Panzerbildern) führen dazu, dass Modelle irrelevante Muster lernen. Adversarial Attacks nutzen diese Scheinkorrelationen aus. Fehler in der Kennzeichnung, selbst bei wenigen Prozent, können Benchmark-Vergleiche verzerren. Zweitens Datenleck: Datenabhängige Vorverarbeitung (Zentrieren, Skalieren, Merkmalsauswahl, Datenaugmentierung) auf dem vollständigen Datensatz vor dem Aufteilen in Testdaten gibt Informationen preis und führt zu überhöhten Leistungswerten. Look-ahead-Bias bei Zeitreihenprognosen und iteratives Overfitting des Testsatzes (Training auf den Testsatz) sind häufige Lecks. Drittens ungeeignete Metriken: Die Verwendung von Accuracy bei unausgeglichenen Daten kann irreführend sein. Der Autor empfiehlt die REFORMS-Checkliste für ML-basierte Wissenschaft und Praktiken wie die Untersuchung von Salienzkarten, die Verwendung mehrerer Benchmarks und die Gewährleistung korrekter Datenaufteilungen.