在 Pixel 设备上通过冻结多Token预测加速Gemini Nano模型

Google研究人员提出了一种针对已冻结部署模型的多token预测（MTP）升级方法，该方法无需单独的草稿模型即可加速设备端推理。与传统投机性解码需要独立的小模型不同，MTP在Gemini Nano v3基座模型的最后几层添加了一个轻量级Transformer预测头，该预测头利用基座模型已计算出的隐藏状态和键值缓存（KV缓存）。这避免了内存翻倍和提示预处理的消耗。MTP与基座模型的冻结权重兼容，确保了输出结果的一致性及安全性。在Pixel 9和10设备上，该方法在通知摘要、文本校对等任务中实现了超过50%的加速。平均而言，MTP每次推理能正确预测近两个额外的token，从而减少了验证步骤，降低了能耗。