从零构建大语言模型：Sebastian Raschka 完整课程

《从头构建大语言模型》一书的作者 Sebastian Raschka 发布了一套扩展课程，专门讲解如何从零开始构建LLM，包含多个视频，总时长约15小时。课程首先介绍如何使用uv设置开发环境，然后涵盖处理文本数据的内容，包括分词、字节对编码（BPE）和数据加载器。接着，课程详细讲解了如何从头编写注意力机制（自注意力、因果注意力、多头注意力），并演示了LLM架构的构建。课程还展示了在未标注数据上预训练模型，微调用于分类（以垃圾邮件为例），以及指令微调。作为付费订阅者的额外福利，还有一个时长2.5小时的非技术性视频，讨论了2025年LLM的格局以及自2018年以来的变化。Raschka指出，从头构建LLM是理解其工作原理的最佳方式，他打了个比方，就像从卡丁车开始组装一辆赛车。这些视频最初是作为书籍的补充材料制作的，但也完全可以作为独立内容使用。