Xây dựng LLMs từ đầu: Khóa học đầy đủ bởi Sebastian Raschka

Sebastian Raschka, tác giả cuốn sách "Build a Large Language Model (From Scratch)", đã phát hành một khóa học mở rộng về việc xây dựng LLM từ đầu, bao gồm nhiều video với tổng thời lượng khoảng 15 giờ. Khóa học bắt đầu với việc thiết lập môi trường phát triển bằng uv, sau đó đề cập đến việc xử lý dữ liệu văn bản, bao gồm tokenization, Byte Pair Encoding (BPE) và data loaders. Tiếp theo, khóa học giải thích cách viết mã cho các cơ chế attention (self-attention, causal attention, multi-head attention) từ đầu, sau đó là trình diễn việc xây dựng kiến trúc LLM. Khóa học cũng hướng dẫn pretraining mô hình trên dữ liệu chưa gán nhãn, fine-tuning cho phân loại (sử dụng ví dụ về spam) và instruction finetuning. Như một phần thưởng cho người đăng ký trả phí, có một video phi kỹ thuật kéo dài 2,5 giờ, thảo luận về bối cảnh LLM năm 2025 và những thay đổi kể từ năm 2018. Raschka lưu ý rằng việc xây dựng LLM từ đầu là cách tốt nhất để hiểu chúng hoạt động như thế nào, đưa ra phép so sánh với việc lắp ráp một chiếc xe đua bắt đầu từ xe go-kart. Các video ban đầu được tạo ra như tài liệu bổ trợ cho cuốn sách nhưng cũng có thể đóng vai trò là nội dung độc lập.