让知识蒸馏成本足够低，以便大规模运行

知识蒸馏，即让较小的学生模型学习匹配较大的教师模型，是压缩大型语言模型的标准技术。近期开源的LLM，如拥有2.8万亿参数的Kimi-K3，需要约3TB的显存，因此压缩至关重要。论文《面向LLM的高效知识蒸馏：离线Top-K对数概率与融合分块KL损失》通过离线缓存教师模型的Top-K对数概率，解决了蒸馏的高成本问题，无需再将教师模型保留在内存中。同时，该论文引入了一种融合的分块KL损失，以分块方式计算损失，避免了完整的词汇量×序列矩阵。这使得单张H200上的峰值显存从250GB降至128GB，从而能够在单块GPU上以32K上下文长度进行蒸馏，而无需四个节点，且单步速度提升了5倍。学生模型从Llama 3.1 8B Instruct蒸馏至3.2B参数，在BoolQ和HellaSwag等基准测试中保持了大部分准确率，在MMLU上仅下降了九个百分点。