Kayıp yakınsaması öğrenme anlamına gelmez: Tencent Hunyuan ACL 2026, SFT eğitiminde %15.3 "yalancı öğrenme" örneğini inceliyor
Tencent
Tencent Hunyuan, ACL 2026'da yayımladığı bir çalışmada, denetimli ince ayar (SFT) sırasında kayıp yakınsamasının modelin gerçekten öğrendiği anlamına gelmediğini gösterdi. Eğitim örneklerinin %15,3'ünün, kaybın düştüğü ancak modelin amaçlanan bilgiyi edinmediği "yalancı öğrenme" vakaları olduğunu tespit ettiler. Araştırma, bu örnekleri tespit etmek için bir yöntem sunuyor ve SFT için iyileştirmeler öneriyor.
Tencent Hunyuan, ACL 2026'da denetimli ince ayar (supervised fine-tuning, SFT) sırasında "yanlış öğrenme" olgusunu analiz eden bir araştırma sundu. Çalışma, eğitim kaybı yakınsasa bile modelin hedef bilgiyi gerçekten öğrenmemiş olabileceğini ortaya koyuyor. SFT'deki örneklerin %15,3'ünde, kayıp azalmasına rağmen modelin genelleme yapamadığı bu yanlış öğrenmenin gerçekleştiğini buldular. Ekip, bu tür örnekleri tespit etmek için bir yöntem geliştirdi ve yanlış öğrenmeyi azaltarak SFT'nin güvenilirliğini artıracak teknikler önerdi.
Kaynak: Tencent Hunyuan (GNews) —
orijinal