Google : le raisonnement aide les modèles de langage à rappeler des faits via un tampon et un amorçage

Google Research a étudié pourquoi le raisonnement aide les LLM à rappeler des faits simples, même lorsqu'aucune étape complexe n'est nécessaire. Ils ont découvert deux mécanismes : un tampon de calcul où des jetons supplémentaires sans signification offrent plus de traitement, et un amorçage factuel où la génération de faits connexes prépare le rappel correct. Les expériences ont utilisé Gemini-2.5 (Flash et Pro) et Qwen3-32B sur les jeux de données SimpleQA Verified et EntityQuestions. L'effet tampon a amélioré le rappel mais avec des rendements décroissants, tandis que les traces de raisonnement naturelles, qui font souvent émerger des faits connexes, ont donné les meilleures performances. Les faits intermédiaires hallucinés ont réduit la précision. Une stratégie de sélection au moment du test, qui conserve les trajectoires sans hallucination, a amélioré les résultats.