ゼロからのLLM構築：Sebastian Raschkaによる完全コース

『大規模言語モデルをゼロから作る』の著者であるSebastian Raschka氏が、ゼロからLLMを構築する拡張コースを公開しました。このコースは、合計約15時間に及ぶ複数の動画で構成されています。コースは、uvを使った開発環境のセットアップから始まり、トークン化、バイト対符号化（BPE）、データローダーなどのテキストデータの扱いをカバーします。次に、アテンションメカニズム（自己アテンション、因果アテンション、マルチヘッドアテンション）をゼロからコーディングする方法を説明し、その後、LLMアーキテクチャの構築を実演します。また、ラベルなしデータでのモデルの事前学習、分類のためのファインチューニング（スパムを例に）、指示ファインチューニングも紹介しています。有料購読者向けのボーナスとして、2.5時間の非技術的な動画も利用可能で、2025年のLLMの展望と2018年以降の変化について議論しています。Raschka氏は、LLMをゼロから構築することが、その仕組みを理解する最良の方法だと述べており、ゴーカートから始めてレースカーを組み立てることに例えています。この動画は当初、書籍の補足資料として作成されましたが、単独のコンテンツとしても機能します。