Modelim Neden Çalışmıyor?
Makale, test sırasında iyi görünmesine rağmen gerçek dünya uygulamalarında modellerin başarısız olmasına neden olan yaygın makine öğrenimi tuzaklarını tartışıyor. Temel sorunlar arasında yanıltıcı veriler (gizli değişkenler, yanıltıcı korelasyonlar, etiketleme hataları), veri sızıntısı (bölmeden önce ön işleme, ileriye dönük bakış yanlılığı, yinelemeli test seti aşırı uyumu) ve uygunsuz metrik seçimi (örneğin, dengesiz verilerde doğruluk) yer alır. Yazar, model güvenilirliğini artırmak için REFORMS kontrol listesini ve belirginlik haritaları, çeşitli kıyaslamalar ve uygun veri bölmeleri gibi uygulamaları önermektedir.
Yazarın 20 yıllık ML deneyimine ve 'Makine Öğrenimi Tuzaklarından Nasıl Kaçınılır: Akademik Araştırmacılar İçin Bir Kılavuz' başlıklı makaleye dayanan bu yazı, modellerin üretim ortamında başarısız olmasına yol açan yaygın hataları özetlemektedir. İlk olarak, yanıltıcı veri: gizli değişkenler (örneğin, Covid göğüs taramalarında vücut yönelimi) ve sahte korelasyonlar (örneğin, tank görüntülerindeki arka plan pikselleri), modellerin alakasız desenleri öğrenmesine neden olur. Düşmanca saldırılar (adversarial attacks) bu sahte korelasyonlardan yararlanır. Etiketleme hataları, yüzde birkaçı kadar bile olsa, kıyaslama (benchmark) karşılaştırmalarını bozabilir. İkinci olarak, veri sızıntısı (data leakage): veriye bağımlı ön işleme (merkezleme, ölçekleme, özellik seçimi, veri artırma) test verisi ayrılmadan önce tüm veri setinde yapıldığında bilgi sızdırılır ve performans şişirilir. Zaman serisi tahmininde ileriye bakma yanlılığı (lookahead bias) ve test setine aşırı uyum (test setini eğitme) yaygın sızıntılardır. Üçüncü olarak, uygun olmayan metrikler: dengesiz verilerde doğruluk (accuracy) kullanmak yanıltıcı olabilir. Yazar, ML tabanlı bilim için REFORMS kontrol listesini ve anlamlılık haritalarını (saliency maps) inceleme, birden çok kıyaslama (benchmark) kullanma ve uygun veri bölünmelerini sağlama gibi uygulamaları önermektedir.
Kaynak: The Gradient —
orijinal