Các câu hỏi phỏng vấn NLP hàng đầu: Kiến trúc LLM, suy luận và tối ưu hóa

Các mô hình ngôn ngữ lớn (LLM – Large Language Model) sinh văn bản hiện đại phần lớn là kiến trúc transformer chỉ dùng decoder, với các họ mô hình như GPT, LLaMA, Mistral, Qwen và Gemma khác nhau ở mức độ mở, số lượng tham số (từ vài trăm triệu đến hàng trăm tỷ), chi tiết kiến trúc (Dense so với MoE), loại attention, chuẩn hóa, mã hóa vị trí, đặc điểm của MLP, độ dài cửa sổ ngữ cảnh (ví dụ 4k, 32k, 128k token), khả năng hỗ trợ đa phương thức, cách huấn luyện và giấy phép sử dụng. So với Transformer kinh điển, các LLM hiện đại sử dụng Pre-Norm thay vì Post-Norm (giúp huấn luyện ổn định hơn), RMSNorm thay vì LayerNorm (chi phí tính toán thấp hơn), FFN có cổng SwiGLU (biểu đạt phong phú hơn nhưng thêm một lớp tuyến tính thứ ba), embedding vị trí RoPE, MQA/GQA (Multi-Query Attention/Grouped-Query Attention) thay vì cơ chế multi-head attention đầy đủ, đôi khi dùng MoE (Mixture of Experts – hỗn hợp chuyên gia) để tính toán có điều kiện, cửa sổ ngữ cảnh dài hơn, cùng các tối ưu hóa cho quá trình suy luận (inference). Quá trình suy luận tốn kém vì việc sinh văn bản tự hồi quy (autoregressive) đòi hỏi đọc toàn bộ trọng số cho mỗi token, bộ nhớ đệm KV (KV-cache) tăng theo độ dài ngữ cảnh và kích thước batch, đồng thời có hai giai đoạn: prefill (bị giới hạn bởi khả năng tính toán) và decode (bị giới hạn bởi băng thông bộ nhớ). Sự đánh đổi giữa độ trễ (thời gian tạo ra token đầu tiên, độ trễ giữa các token) và thông lượng là yếu tố then chốt; các kỹ thuật tối ưu bao gồm KV-cache, paged attention, continuous batching, speculative decoding, lượng tử hóa (quantization) và chưng cất mô hình (distillation).