Q4 与 Q6 与 Q8：选择正确的量化方案以在本地运行大语言模型

量化是一种用于压缩大型语言模型的技术，使其能够在消费级设备上本地运行。它降低了模型权重的精度，通常从16位或32位浮点数降至4位、6位或8位等较低位深。在Q4、Q6和Q8之间进行选择涉及模型大小、推理速度和输出质量之间的权衡。像Q4这样的较低量化显著减少内存占用并提升速度，但可能会导致精度轻微下降。像Q8这样的较高量化更好地保留了原始模型的质量，但需要更多内存和计算能力。决策框架考虑了用户的硬件能力、任务的复杂性以及可接受的精度损失程度。对于一般用途，Q6通常被认为是一个很好的平衡点，而对于需要高保真度的任务，则更倾向于选择Q8。本文提供了一份指南，帮助用户为其本地LLM设置选择合适的量化级别。