Google: Reasoning hilft Sprachmodellen, Fakten durch Puffer und Priming abzurufen
Google/DeepMind
Alibaba/Qwen
Google Research hat herausgefunden, dass Reasoning in großen Sprachmodellen (LLMs) das Abrufen einfacher Fakten über zwei Mechanismen verbessert: Zusätzliche Token dienen als Rechenpuffer, und das Generieren verwandter Fakten bahnt das korrekte Abrufen. Die Studie testet Gemini-2.5 und Qwen3-32B auf QA-Datensätzen.
Google Research hat untersucht, warum Reasoning LLMs hilft, einfache Fakten abzurufen, wenn keine komplexen Schritte erforderlich sind. Sie fanden zwei Mechanismen: einen Rechenpuffer, bei dem zusätzliche bedeutungslose Token mehr Verarbeitung ermöglichen, und faktisches Priming, bei dem das Generieren verwandter Fakten den korrekten Abruf vorbereitet. Die Experimente verwendeten Gemini 2.5 (Flash und Pro) und Qwen3-32B auf den Datensätzen SimpleQA Verified und EntityQuestions. Der Puffereffekt verbesserte den Abruf, zeigte aber abnehmende Erträge, während natürliche Reasoning-Spuren, die oft verwandte Fakten zutage förderten, die beste Leistung erbrachten. Halluzinierte Zwischenfakten verringerten die Genauigkeit. Eine Testzeit-Selektionsstrategie, die halluzinationsfreie Trajektorien beibehält, verbesserte die Ergebnisse.
Quelle: Google Research —
Original