연구 오픈 소스 🇷🇺 28.07.2026 12:02

커스텀 Warhammer 40K LLM을 Hugging Face와 통합하기

이 기사는 Warhammer 40K 세계관으로 학습된 커스텀 디코더 전용 LLM(LinguaLaboratoriumMechanicus)을 Hugging Face 형식으로 패키징하는 방법을 설명합니다. transformers.PretrainedConfig와 transformers.PreTrainedModel을 상속하는 구성 클래스와 모델 래퍼를 만들고, 저장 후 Hub에 업로드하여 AutoModelForCausalLM과 함께 쉽게 사용할 수 있도록 하는 과정을 다룹니다.

저자 Vladimir는 처음부터 소형 디코더 전용 LLM을 구축하는 시리즈를 작성하고 있습니다. 5부에서는 하이퍼파라미터를 저장하는 설정 클래스(LinguaLaboratoriumMechanicusConfig)와 PreTrainedModel 및 GenerationMixin을 상속하는 모델 래퍼(LLMForCausalLM)를 생성하여 모델을 Hugging Face와 통합합니다. 래퍼는 forward 및 prepare_inputs_for_generation 메서드를 정의하고, 가중치는 PyTorch 체크포인트에서 변환됩니다. 마지막으로 모델은 자동 클래스 등록과 함께 저장되며, trust_remote_code 플래그를 통해 AutoModelForCausalLM으로 로드할 수 있습니다.

출처: Habr — хаб ML — 원문