PrismML llama.cpp로 1비트 Bonsai-27B 모델 배포하여 로컬 추론하기

이 튜토리얼은 Q1_0_g128 GGUF 양자화 형식을 사용하는 1비트 Bonsai-27B 모델을 PrismML 포크의 llama.cpp를 통해 배포하는 방법을 설명합니다. 먼저 GPU를 확인하고, 의존성을 설치하고, CUDA 지원 추론 바이너리를 컴파일하고, Hugging Face 허브에서 압축된 모델 가중치를 다운로드하는 것으로 시작합니다. 모델은 llama-cli를 사용하여 테스트한 다음, OpenAI 호환 로컬 추론 서버를 시작합니다. 서버와 상호 작용하기 위해 Python 클라이언트가 제공되며, 표준 컴플리션, 스트리밍, 다중 턴 대화 및 코드 생성을 지원합니다. 선택적 구성에는 장문 컨텍스트 추론, 4비트 KV 캐싱, DSpark 드래프터를 사용한 투기적 디코딩, 비전 지원이 포함됩니다. 또한 튜토리얼은 더 높은 품질을 위한 삼진 변형의 사용 가능성에 대해 언급합니다.