Construire des LLM de zéro : cours complet par Sebastian Raschka

Sebastian Raschka, auteur du livre « Build a Large Language Model (From Scratch) », a publié un cours approfondi sur la construction d'un LLM à partir de zéro, composé de plusieurs vidéos totalisant environ 15 heures. Le cours commence par la configuration de l'environnement de développement avec uv, puis aborde le travail avec des données textuelles, notamment la tokenisation, le Byte Pair Encoding (BPE) et les chargeurs de données. Il explique ensuite le codage des mécanismes d'attention (auto-attention, attention causale, attention multi-têtes) à partir de zéro, puis démontre la construction de l'architecture du LLM. Le cours montre également le pré-entraînement du modèle sur des données non étiquetées, le fine-tuning pour la classification (en utilisant le spam comme exemple) et le fine-tuning par instructions. En bonus pour les abonnés payants, une vidéo non technique de 2 heures et demie est disponible, discutant du paysage des LLM en 2025 et des changements depuis 2018. Raschka note que construire un LLM à partir de zéro est la meilleure façon de comprendre comment ils fonctionnent, en établissant une analogie avec l'assemblage d'une voiture de course à partir d'un kart. Les vidéos ont été initialement créées comme matériel supplémentaire pour le livre, mais fonctionnent également comme contenu autonome.