Membangun LLM dari Awal: Kursus Lengkap oleh Sebastian Raschka

Sebastian Raschka, penulis buku "Build a Large Language Model (From Scratch)", telah merilis kursus lanjutan tentang membangun LLM dari nol, terdiri dari beberapa video dengan total durasi sekitar 15 jam. Kursus ini dimulai dengan pengaturan lingkungan pengembangan menggunakan uv, kemudian membahas pemrosesan data teks, termasuk tokenisasi, Byte Pair Encoding (BPE), dan pemuat data (data loader). Selanjutnya, dijelaskan cara membuat mekanisme attention (self-attention, causal attention, multi-head attention) dari nol, diikuti dengan demonstrasi pembangunan arsitektur LLM. Kursus ini juga menunjukkan pelatihan awal model pada data tanpa label, penyempurnaan (fine-tuning) untuk klasifikasi (menggunakan spam sebagai contoh), dan penyempurnaan instruksi. Sebagai bonus untuk pelanggan berbayar, tersedia video non-teknis berdurasi 2,5 jam yang membahas lanskap LLM pada tahun 2025 dan perubahan sejak 2018. Raschka mencatat bahwa membangun LLM dari nol adalah cara terbaik untuk memahami cara kerjanya, dengan menganalogikan hal tersebut dengan merakit mobil balap yang dimulai dari go-kart. Video-video ini awalnya dibuat sebagai materi tambahan untuk buku tersebut, tetapi juga berfungsi sebagai konten mandiri.