Google:推理帮助语言模型通过缓冲和启动回忆事实
Google/DeepMind
Alibaba/Qwen
Google 研究发现,让大型语言模型进行推理有助于通过两种机制回忆简单事实:额外的词元作为计算缓冲,生成相关事实则启动正确回忆。该研究在 Gemini-2.5 和 Qwen3-32B 上针对问答数据集进行了测试。
谷歌研究院研究了为何推理过程能帮助大语言模型回忆简单事实,即便这些事实无需复杂步骤。他们发现两种机制:一是计算缓存,多余的无关词元提供了更多处理时间;二是事实启动,生成相关事实能启动正确回忆。实验采用了Gemini-2.5(Flash和Pro)及Qwen3-32B,在SimpleQA Verified和EntityQuestions数据集上进行。缓存效应提升了回忆能力,但效果递减;而自然推理轨迹中常浮现的相关事实带来了最佳性能。虚构的中间事实会降低准确性。一种在测试时选择无幻觉轨迹的策略改善了结果。
来源: Google Research —
原文
