PrismML llama.cppを使用した1ビットBonsai-27Bモデルのローカル推論デプロイ

このチュートリアルでは、Q1_0_g128 GGUF量子化形式を使用する1ビットBonsai-27Bモデルを、PrismMLフォークのllama.cppを介してデプロイする方法について説明しています。まず、GPUの確認、依存関係のインストール、CUDA対応推論バイナリのコンパイル、Hugging Face Hubからの圧縮モデルウェイトのダウンロードから始めます。モデルはllama-cliを使用してテストされ、その後OpenAI互換のローカル推論サーバーが起動されます。Pythonクライアントが提供され、標準の補完、ストリーミング、マルチターン会話、コード生成をサポートします。オプションの構成には、長いコンテキスト推論、4ビットKVキャッシュ、DSparkドラフターによる投機的復号化、ビジョンサポートが含まれます。また、チュートリアルでは、高品質のために三値バリアントが利用可能であることも記載されています。