痕迹即教师：将推理能力蒸馏至小型模型

《序列知识》第898期讨论了一种名为“痕迹即教师”的方法。其核心思想是，大语言模型在解决问题时，不仅生成答案，还会产生一系列中间推理步骤——即痕迹。随后，这些痕迹被用作小型模型的训练信号，使后者不仅学会复现最终答案，还能掌握完整的思考过程。通过这种方式，一个紧凑的神经网络获得了通常仅大型模型才具备的推理能力。该方法属于知识蒸馏领域，能够在不牺牲逻辑推理质量的前提下，显著缩小模型规模。