Google: Рассуждение помогает языковым моделям вспоминать факты через буфер и прайминг
Google/DeepMind
Alibaba/Qwen
Исследование Google показало, что включение рассуждения в большие языковые модели помогает вспоминать простые факты с помощью двух механизмов: дополнительные токены действуют как вычислительный буфер, а генерация связанных фактов подготавливает правильное воспроизведение. В исследовании тестируются модели Gemini-2.5 и Qwen3-32B на наборах данных для вопросно-ответных систем.
Исследователи из Google изучили, почему рассуждение помогает большим языковым моделям (large language models, LLM) вспоминать простые факты, когда не требуется сложных шагов. Они выявили два механизма: вычислительный буфер, где дополнительные бессмысленные токены обеспечивают больше обработки, и фактический прайминг, когда генерация связанных фактов запускает правильное вспоминание. В
Показать ещё ↓
Источник: Google Research —
оригинал