Google: Päättely auttaa kielimalleja muistamaan faktoja puskurin ja esivalmistelun avulla

Google Research tutki, miksi päättely auttaa suuria kielimalleja palauttamaan mieleen yksinkertaisia faktoja, vaikka monimutkaisia vaiheita ei tarvita. He löysivät kaksi mekanismia: laskennallisen puskurin, jossa ylimääräiset merkityksettömät tokenit tarjoavat enemmän prosessointia, ja faktuaalisen alustuksen, jossa liittyvien faktojen tuottaminen alustaa oikean mieleenpalautuksen. Kokeissa käytettiin Gemini-2.5 (Flash ja Pro) ja Qwen3-32B -malleja SimpleQA Verified ja EntityQuestions -tietoaineistoilla. Puskuriefekti paransi mieleenpalautusta, mutta hyödyt vähenivät, kun taas luonnolliset päättelyketjut, jotka usein toivat esiin liittyviä faktoja, antoivat parhaan suorituskyvyn. Hallusinoidut välivaihefaktat heikensivät tarkkuutta. Testiaikainen valintastrategia, joka pitää yllä hallusinaatiovapaita polkuja, paransi tuloksia.