Từ GPT-2 đến Kimi K3: Bảy năm mở rộng 22.600 lần, dòng chính của kiến trúc mô hình lớn đang xây dựng 'hệ điều hành bộ nhớ'
OpenAI
Moonshot AI
Bài viết điểm lại sự phát triển của các mô hình ngôn ngữ lớn từ GPT-2 đến Kimi K3, nhấn mạnh mức tăng quy mô gấp 22.600 lần trong bảy năm. Tác giả lập luận rằng xu hướng kiến trúc đang hướng tới việc thiết lập một 'hệ điều hành bộ nhớ' cho trí tuệ nhân tạo.
Bài viết thảo luận về sự phát triển của các mô hình ngôn ngữ lớn từ GPT-2 của OpenAI đến Kimi K3 của Moonshot AI, chỉ ra rằng quy mô mô hình đã tăng lên gấp 22.600 lần trong vòng bảy năm. Bài viết gợi ý rằng hướng kiến trúc chính là xây dựng một 'hệ điều hành bộ nhớ' quản lý ngữ cảnh và kiến thức một cách hiệu quả. Bài viết có thể sẽ trình bày chi tiết về cách tiếp cận tập trung vào bộ nhớ này cho phép ngữ cảnh dài hơn và lý luận phức tạp hơn.
Nguồn: Moonshot Kimi (GNews) —
bản gốc