Các bài báo nghiên cứu LLM: Danh sách năm 2026 (Tháng 1 đến Tháng 5)

Sebastian Raschka duy trì thói quen lập danh sách các bài báo nghiên cứu mà anh muốn đọc hoặc trích dẫn. Trong nửa đầu năm 2026, anh đã tổng hợp một danh sách tuyển chọn các bài báo được đánh dấu từ tháng 1 đến tháng 5. Danh sách này không đầy đủ nhưng phản ánh sở thích của anh về các mô hình suy luận, học tăng cường, suy luận hiệu quả, bộ điều khiển tác nhân, sử dụng công cụ, ngữ cảnh dài, mô hình ngôn ngữ khuếch tán và cơ sở hạ tầng phục vụ thực tế. Các danh mục bao gồm Kiến trúc và Thiết kế mô hình, Huấn luyện và Mở rộng quy mô hiệu quả, Hiệu quả suy luận và Bộ nhớ đệm KV, Chú ý thưa và Ngữ cảnh dài, Suy luận và Tính toán tại thời điểm kiểm tra, Học tăng cường và Học tăng cường từ phản hồi của con người (RLHF - Reinforcement Learning with Human Feedback), Hệ thống tác nhân và Sử dụng công cụ, Tác nhân lập trình và Kỹ thuật phần mềm, Mô hình ngôn ngữ khuếch tán, cũng như Đánh giá mô hình và Điểm chuẩn. Các bài báo đáng chú ý bao gồm Nemotron 3 Super, sử dụng kiến trúc lai Mamba-Transformer để tăng hiệu quả, và Mamba-3 cùng Gated DeltaNet-2 như các lựa chọn thay thế cho cơ chế chú ý. Raschka nhấn mạnh rằng hiệu quả xử lý ngữ cảnh dài rất quan trọng khi các mô hình ngôn ngữ lớn được sử dụng trong các hệ thống tác nhân như OpenClaw. Ông cũng lưu ý xu hướng kiến trúc lai với các lớp chú ý và lớp thay thế xen kẽ, như thấy trong Qwen3.6 với các lớp Gated DeltaNet.