カスタムWarhammer 40K LLMをHugging Faceと統合する
Hugging Face
この記事では、Warhammer 40Kの伝承に基づいてトレーニングされたカスタムのデコーダーのみのLLM（LinguaLaboratoriumMechanicus）をHugging Faceフォーマットにパッケージ化する方法について説明します。transformers.PretrainedConfigとtransformers.PreTrainedModelを継承する設定クラスとモデルラッパーを作成し、保存してハブにアップロードし、AutoModelForCausalLMで簡単に使用できるようにする方法を説明します。
著者のVladimirは、ゼロから小さなデコーダー専用のLLMを構築するシリーズを執筆しています。パート5では、ハイパーパラメータを保存する設定クラス（LinguaLaboratoriumMechanicusConfig）と、PreTrainedModelとGenerationMixinを継承するモデルラッパー（LLMForCausalLM）を作成することで、モデルをHugging Faceと統合しています。ラッパーは、forwardメソッドとprepare_inputs_for_generationメソッドを定義し、重みはPyTorchのチェックポイントから変換されます。最後に、モデルは自動クラス登録付きで保存され、trust_remote_codeフラグを使用してAutoModelForCausalLMを介して読み込むことができます。
出典: Habr — хаб ML —
原文