Các mô hình lớn trở lại với cuộc đua tham số: 2 nghìn tỷ trở thành tiêu chuẩn, 3 nghìn tỷ tiếp theo? - Sina Finance
Các mô hình AI lớn đang quay trở lại tập trung vào số lượng tham số như một chỉ số cạnh tranh chính, với 200 tỷ tham số trở thành tiêu chuẩn cho các mô hình hàng đầu và có suy đoán rằng 300 tỷ có thể là cột mốc tiếp theo. Các công ty AI lớn của Trung Quốc được báo cáo đang mở rộng quy mô tham số đào tạo để duy trì tính cạnh tranh.
Bài viết từ Sina Finance đề cập đến cuộc cạnh tranh đang nóng trở lại giữa các mô hình ngôn ngữ lớn (LLM - Large Language Model), xoay quanh số lượng tham số. Bài viết chỉ ra rằng các mô hình có khoảng 200 tỷ tham số đã trở thành chuẩn mực ngành đối với những công ty dẫn đầu, và có nhiều đồn đoán cho rằng bước tiếp theo có thể là các mô hình đạt tới 300 tỷ tham số.
Bài viết cho rằng xu hướng này cho thấy sự trở lại của chiến lược mở rộng quy mô (scaling) như một hướng đi chủ đạo để nâng cao năng lực của mô hình, kéo theo những tác động đáng kể đến nguồn lực tính toán và chi phí huấn luyện.
Nguồn: Moonshot Kimi (GNews) —
bản gốc