Mô hình lớn quay lại cuộc đua tham số: 2 nghìn tỷ trở thành tiêu chuẩn, 3 nghìn tỷ có phải là điểm dừng tiếp theo?

Bài báo đưa tin ngành công nghiệp mô hình lớn của Trung Quốc một lần nữa tập trung vào việc mở rộng quy mô tham số, với 2 nghìn tỷ tham số đang trở thành ngưỡng cơ bản mới cho các mô hình hàng đầu. Những người trong ngành cho rằng mục tiêu tiếp theo là 3 nghìn tỷ tham số, phản ánh sự chú trọng trở lại vào quy mô mô hình như một yếu tố cạnh tranh then chốt. Sự chuyển hướng này diễn ra sau giai đoạn ưu tiên tính hiệu quả và các mô hình nhỏ hơn, nhưng giờ đây cuộc đua về quy mô đã quay trở lại, được thúc đẩy bởi giả định rằng mô hình càng lớn thì năng lực càng vượt trội. Tuy nhiên, hướng đi này cũng mang lại những thách thức đáng kể, bao gồm nhu cầu khổng lồ về tài nguyên tính toán, chi phí huấn luyện cao, và yêu cầu về các kỹ thuật tối ưu hóa tiên tiến hơn. Xu hướng này được ghi nhận ở các công ty trí tuệ nhân tạo (AI - Artificial Intelligence) lớn của Trung Quốc, vốn đang đầu tư mạnh mẽ để không bị tụt lại trong cuộc đua AI toàn cầu. Các chuyên gia cảnh báo rằng việc đơn thuần tăng số lượng tham số có thể không đảm bảo hiệu suất tốt hơn, và cần chú trọng nhiều hơn đến chất lượng dữ liệu cũng như đổi mới thuật toán.