Сходимость потерь не означает обучение: Tencent Hunyuan на ACL 2026 выявляет 15,3% образцов «ложного обучения» при SFT
Tencent
Tencent Hunyuan опубликовала исследование на ACL 2026, показывающее, что при контролируемой тонкой настройке (SFT) сходимость потерь не гарантирует, что модель действительно обучилась. Они выявили, что 15,3% обучающих образцов являются случаями «ложного обучения», когда потери снижаются, но модель на самом деле не усваивает предполагаемые знания. Исследование предлагает метод обнаружения таких образцов и рекомендации по улучшению SFT.
Компания Tencent Hunyuan представила на конференции ACL 2026 исследование, посвященное анализу феномена «ложного обучения» при контролируемой точной настройке (Supervised Fine-Tuning, SFT). Исследование показывает, что даже при сходимости функции потерь в процессе обучения модель может на самом деле не усвоить целевые знания. Выяснилось, что 15,3% примеров в SFT демонстрируют такое ложное
Показать ещё ↓
Источник: Tencent Hunyuan (GNews) —
оригинал