LLMs von Grund auf selbst bauen: Vollständiger Kurs von Sebastian Raschka

Sebastian Raschka, Autor des Buches „Build a Large Language Model (From Scratch)“, hat einen erweiterten Kurs zum Aufbau eines LLM von Grund auf veröffentlicht, der aus mehreren Videos mit insgesamt etwa 15 Stunden besteht. Der Kurs beginnt mit der Einrichtung der Entwicklungsumgebung mit uv, behandelt dann die Arbeit mit Textdaten, einschließlich Tokenisierung, Byte-Pair-Encoding (BPE) und Datenladern. Anschließend wird die Codierung von Aufmerksamkeitsmechanismen (Self-Attention, Causal Attention, Multi-Head Attention) von Grund auf erklärt, gefolgt von der Demonstration des Aufbaus der LLM-Architektur. Der Kurs zeigt auch das Vortraining des Modells auf unbeschrifteten Daten, das Feintuning für Klassifikation (am Beispiel von Spam) sowie Instruktions-Feintuning. Als Bonus für zahlende Abonnenten ist ein nicht-technisches Video mit einer Länge von 2,5 Stunden verfügbar, das die LLM-Landschaft im Jahr 2025 und die Veränderungen seit 2018 diskutiert. Raschka merkt an, dass der Aufbau eines LLM von Grund auf der beste Weg ist, um zu verstehen, wie sie funktionieren, und zieht eine Analogie zum Zusammenbau eines Rennwagens, beginnend mit einem Go-Kart. Die Videos wurden ursprünglich als Ergänzungsmaterial zum Buch erstellt, funktionieren aber auch als eigenständiger Inhalt.