Сходимость функции потерь не означает обучение: Tencent Hunyuan ACL 2026 анализирует 15,3% образцов «ложного обучения» в SFT
Tencent
Tencent Hunyuan опубликовала исследование на ACL 2026, показывающее, что во время контролируемой тонкой настройки (supervised fine-tuning, SFT) сходимость функции потерь не гарантирует, что модель действительно чему-то научилась. Они выявили, что 15,3% тренировочных образцов являются случаями «ложного обучения», когда потери снижаются, но модель фактически не усваивает предполагаемые знания. Исследование предлагает метод обнаружения таких образцов и рекомендации по улучшению SFT.
Компания Tencent Hunyuan представила на конференции ACL 2026 исследование, посвященное анализу феномена «ложного обучения» при контролируемой точной настройке (Supervised Fine-Tuning, SFT). Исследование показывает, что даже при сходимости функции потерь в процессе обучения модель может на самом деле не усвоить целевые знания. Выяснилось, что 15,3% примеров в SFT демонстрируют такое ложное
Показать ещё ↓
Источник: Tencent Hunyuan (GNews) —
оригинал