将自定义《战锤40K》大型语言模型集成到Hugging Face平台

作者Vladimir正在撰写一个系列文章，从零开始构建一个小型的仅解码器大型语言模型。在第五部分中，他将该模型与Hugging Face集成，通过创建一个配置类（LinguaLaboratoriumMechanicusConfig）来存储超参数，以及一个模型包装器（LLMForCausalLM），该类继承自PreTrainedModel和GenerationMixin。包装器定义了前向传播和prepare_inputs_for_generation方法，权重从PyTorch检查点转换而来。最后，模型通过自动类注册保存，并且可以通过AutoModelForCausalLM配合trust_remote_code标志加载。