Google: Redeneren helpt taalmodellen feiten te herinneren via buffer en priming
Google/DeepMind
Alibaba/Qwen
Google Research ontdekt dat het inschakelen van redeneren in LLM's helpt bij het herinneren van simpele feiten via twee mechanismen: extra tokens fungeren als een computationele buffer, en het genereren van gerelateerde feiten zet de juiste herinnering in de verf. De studie test Gemini-2.5 en Qwen3-32B op QA-datasets.
Google Research onderzocht waarom redeneren LLM's helpt eenvoudige feiten te herinneren, zelfs wanneer er geen complexe stappen nodig zijn. Ze vonden twee mechanismen: een computationele buffer waarin extra betekenisloze tokens zorgen voor meer verwerkingscapaciteit, en feitelijke priming waarbij het genereren van gerelateerde feiten de juiste herinnering voorbereidt. De experimenten gebruikten Gemini-2.5 (Flash en Pro) en Qwen3-32B op de datasets SimpleQA Verified en EntityQuestions. Het buffereffect verbeterde het herinneren, maar met afnemende meeropbrengst, terwijl natuurlijke redeneersporen die vaak gerelateerde feiten naar boven brengen de beste prestaties leverden. Gefantaseerde tussentijdse feiten verminderden de nauwkeurigheid. Een testtijdselectiestrategie die hallucinatievrije trajecten behoudt, verbeterde de resultaten.
Bron: Google Research —
origineel