Hội tụ loss không đồng nghĩa với học: Tencent Hunyuan ACL 2026 phân tích 15,3% mẫu "học giả" trong huấn luyện SFT

Tencent Hunyuan đã công bố một nghiên cứu tại ACL 2026 cho thấy trong quá trình tinh chỉnh có giám sát (SFT), sự hội tụ của loss không đảm bảo rằng mô hình đã thực sự học. Họ xác định rằng 15,3% mẫu huấn luyện là các trường hợp "học giả" khi loss giảm nhưng mô hình không thực sự tiếp thu được kiến thức mong muốn. Nghiên cứu cung cấp phương pháp phát hiện các mẫu này và đề xuất cải tiến cho SFT.