Tích hợp một mô hình ngôn ngữ lớn Warhammer 40K tùy chỉnh với Hugging Face
Hugging Face
Bài viết mô tả cách đóng gói một mô hình ngôn ngữ lớn chỉ có bộ giải mã (LinguaLaboratoriumMechanicus) được huấn luyện trên truyền thuyết Warhammer 40K thành định dạng Hugging Face. Nó giải thích cách tạo một lớp cấu hình và một trình bao bọc mô hình kế thừa từ transformers.PretrainedConfig và transformers.PreTrainedModel, sau đó lưu và tải lên Hub để dễ dàng sử dụng với AutoModelForCausalLM.
Tác giả Vladimir đang viết một loạt bài về việc xây dựng một mô hình ngôn ngữ nhỏ (LLM) chỉ có bộ giải mã (decoder-only) từ đầu. Trong phần 5, anh ấy tích hợp mô hình với Hugging Face bằng cách tạo một lớp cấu hình (LinguaLaboratoriumMechanicusConfig) để lưu trữ các siêu tham số và một lớp bọc mô hình (LLMForCausalLM) kế thừa từ PreTrainedModel và GenerationMixin. Lớp bọc này định nghĩa các phương thức forward và prepare_inputs_for_generation, và các trọng số được chuyển đổi từ một điểm kiểm tra (checkpoint) PyTorch. Cuối cùng, mô hình được lưu với tính năng đăng ký tự động (auto-class registration) và có thể được tải qua AutoModelForCausalLM với cờ trust_remote_code.
Nguồn: Habr — хаб ML —
bản gốc