Kimi K3 có thể chứa 22.580 GPT-2: Bảy năm tiến hóa của mô hình ngôn ngữ lớn không chỉ là tăng tham số

Một phân tích gần đây, tham chiếu đến Kimi K3 của Moonshot AI, đã nêu bật sự phát triển đáng kể của các mô hình ngôn ngữ lớn (LLM - Large Language Model) trong suốt bảy năm qua, đồng thời nhấn mạnh rằng những tiến bộ này không chỉ đơn thuần nằm ở số lượng tham số. Nghiên cứu chỉ ra rằng Kimi K3, với vai trò là một mô hình hiện đại, có năng lực tương đương với 22.580 mô hình GPT-2, cho thấy mức độ mở rộng quy mô đáng kinh ngạc của các mô hình. Tuy nhiên, các kết quả nghiên cứu cũng nhấn mạnh rằng những cải tiến về kiến trúc, hiệu quả huấn luyện và các yếu tố khác cũng đóng vai trò then chốt trong sự phát triển của LLM, chứ không chỉ là việc gia tăng số lượng tham số.