Triển khai mô hình Bonsai-27B 1-bit với PrismML llama.cpp cho suy luận cục bộ
PrismML
Hướng dẫn này trình bày chi tiết cách triển khai mô hình ngôn ngữ Bonsai-27B được lượng tử hóa 1-bit bằng cách sử dụng nhánh PrismML của llama.cpp. Nó bao gồm việc thiết lập môi trường GPU, biên dịch các tệp nhị phân hỗ trợ CUDA, tải mô hình GGUF từ Hugging Face, chạy các bài kiểm tra dòng lệnh, khởi chạy máy chủ suy luận cục bộ tương thích OpenAI, và tương tác qua máy khách Python hỗ trợ phát trực tuyến, trò chuyện nhiều lượt, và tạo mã. Các tính năng tùy chọn như suy luận ngữ cảnh dài, giải mã suy đoán, và thị giác cũng được thảo luận.
Hướng dẫn mô tả việc triển khai mô hình Bonsai-27B 1-bit, sử dụng định dạng lượng tử hóa GGUF Q1_0_g128, thông qua bản fork PrismML của llama.cpp. Hướng dẫn bắt đầu bằng việc xác minh GPU, cài đặt các phụ thuộc, biên dịch các tệp nhị phân suy luận hỗ trợ CUDA và tải xuống các trọng số mô hình nén từ Hugging Face Hub. Mô hình được kiểm tra bằng llama-cli, sau đó khởi chạy máy chủ suy luận cục bộ tương thích OpenAI. Một ứng dụng khách Python được cung cấp để tương tác với máy chủ, hỗ trợ các hoàn thành tiêu chuẩn, phát trực tuyến, hội thoại nhiều lượt và tạo mã. Các tùy chọn cấu hình bao gồm suy luận ngữ cảnh dài, bộ nhớ đệm KV 4-bit, giải mã suy đoán với công cụ soạn thảo DSpark và hỗ trợ thị giác. Hướng dẫn cũng đề cập đến sự sẵn có của biến thể ba ngôi để có chất lượng cao hơn.
Nguồn: MarkTechPost —
bản gốc