Google: Reasoning hilft Sprachmodellen, Fakten durch Puffer und Priming abzurufen

Google Research hat herausgefunden, dass Reasoning in großen Sprachmodellen (LLMs) das Abrufen einfacher Fakten über zwei Mechanismen verbessert: Zusätzliche Token dienen als Rechenpuffer, und das Generieren verwandter Fakten bahnt das korrekte Abrufen. Die Studie testet Gemini-2.5 und Qwen3-32B auf QA-Datensätzen.

Google/DeepMind Alibaba/Qwen

Token Cramming: Ideale Textkompression erhält nicht die Bedeutung – AIRI-Studie

Forscher am AIRI zeigten, dass die Token-Cramming-Methode, die bis zu 1568 Token in eine einzige Einbettung komprimiert, die Bedeutungserhaltung nicht garantiert: Bei gieriger Dekodierung sinkt die Genauigkeit von 99,96% auf 40%. Es wurde eine neue Methode, progressives Cramming, vorgeschlagen, um eine 100%ige Rekonstruktion zu erreichen, aber es zeigte sich, dass selbst eine perfekt komprimierte Einbettung die Argumentationsfähigkeit des Modells beeinträchtigt, und die Ursache liegt in den frühen Schichten des Transformers.

Meta EleutherAI Hugging Face Google/DeepMind Alibaba/Qwen