LLM's helemaal zelf bouwen: Volledige cursus door Sebastian Raschka

Sebastian Raschka, auteur van het boek "Build a Large Language Model (From Scratch)", heeft een uitgebreide cursus uitgebracht over het bouwen van een LLM vanaf de basis, bestaande uit verschillende video's met een totale duur van ongeveer 15 uur. De cursus begint met het opzetten van de ontwikkelomgeving met behulp van uv, en behandelt vervolgens het werken met tekstdata, waaronder tokenisatie, Byte Pair Encoding (BPE) en dataloaders. Daarna wordt het coderen van aandachtsmechanismen (self-attention, causal attention, multi-head attention) vanaf nul uitgelegd, gevolgd door een demonstratie van het opbouwen van de LLM-architectuur. De cursus toont ook het pretrainen van het model op ongelabelde data, het finetunen voor classificatie (met spam als voorbeeld) en instructiefinetuning. Als bonus voor betalende abonnees is er een niet-technische video van 2,5 uur beschikbaar, die het LLM-landschap in 2025 en veranderingen sinds 2018 bespreekt. Raschka merkt op dat het bouwen van een LLM vanaf nul de beste manier is om te begrijpen hoe ze werken, en vergelijkt het met het in elkaar zetten van een raceauto, beginnend met een kart. De video's zijn oorspronkelijk gemaakt als aanvullend materiaal bij het boek, maar functioneren ook als op zichzelf staande content.