Сходимость потерь не означает обучение: Tencent Hunyuan на ACL 2026 выявляет 15,3% образцов "ложного обучения" в SFT-тренировке
Tencent
Tencent Hunyuan опубликовала исследование на ACL 2026, показывающее, что во время контролируемой тонкой настройки (SFT) сходимость функции потерь не гарантирует, что модель действительно обучилась. Они выявили, что 15,3% тренировочных образцов являются случаями "ложного обучения", когда потери снижаются, но модель на самом деле не усваивает предполагаемые знания. Исследование предлагает метод обнаружения таких образцов и предлагает улучшения для SFT.
Компания Tencent Hunyuan представила на конференции ACL 2026 исследование, посвященное анализу феномена «ложного обучения» при контролируемой точной настройке (Supervised Fine-Tuning, SFT). Исследование показывает, что даже при сходимости функции потерь в процессе обучения модель может на самом деле не усвоить целевые знания. Выяснилось, что 15,3% примеров в SFT демонстрируют такое ложное
Показать ещё ↓
Источник: Tencent Hunyuan (GNews) —
оригинал