Tencent Hunyuan dẫn đầu: Khi việc huấn luyện AI 'chệch hướng', một phương pháp để đưa nó trở lại đúng quỹ đạo

Các nhà nghiên cứu tại Tencent Hunyuan đã giới thiệu một kỹ thuật mới nhằm phát hiện thời điểm quá trình huấn luyện AI "chệch hướng"—tức là đi lệch khỏi đường đi dự kiến—và đưa mô hình trở lại quỹ đạo ổn định. Phương pháp này, được mô tả trong một thông báo gần đây, giám sát động lực học huấn luyện theo thời gian thực và áp dụng các điều chỉnh hiệu chỉnh để ngăn ngừa hiện tượng phân kỳ (divergence), một nguyên nhân phổ biến gây mất ổn định trong huấn luyện. Cải tiến này nhằm nâng cao độ tin cậy của việc huấn luyện mô hình quy mô lớn, giảm lãng phí tài nguyên tính toán, và đảm bảo các mô hình hội tụ về hiệu suất tối ưu. Kỹ thuật này đặc biệt có ý nghĩa đối với các mô hình ngôn ngữ lớn (large language model - LLM), nơi quá trình huấn luyện có thể khó đoán và tiêu tốn nhiều tài nguyên.