So sánh kiến trúc mô hình ngôn ngữ lớn: Từ DeepSeek V3 đến OLMo 2

Trong bài viết của mình, Sebastian Raschka xem xét các đặc điểm kiến trúc của các mô hình ngôn ngữ lớn hiện đại, so sánh DeepSeek V3/R1, OLMo 2 và các mô hình khác. DeepSeek V3 sử dụng Multi-Head Latent Attention (MLA) để nén các khóa và giá trị vào không gian chiều thấp nhằm tiết kiệm bộ nhớ đệm KV, cùng với Mixture-of-Experts (MoE) gồm 256 chuyên gia, trong đó chỉ có 9 chuyên gia hoạt động (một chuyên gia dùng chung và 8 chuyên gia được bộ định tuyến chọn), cho phép mô hình chỉ sử dụng 37 tỷ tham số mỗi bước dù có tổng cộng 671 tỷ tham số. OLMo 2 từ Viện AI Allen sử dụng Multi-Head Attention truyền thống nhưng với Post-Norm (RMSNorm sau các lớp attention và feed-forward network) và QK-norm để ổn định quá trình huấn luyện. Bài viết cũng đề cập đến Grouped-Query Attention như một giải pháp thay thế cho Multi-Head Attention được sử dụng trong các mô hình khác.