Tyhjät hyllyt vai kadonneet avaimet? Muisti on parametrisen faktuaalisuuden pullonkaula

Google Tutkimuksen tutkijat Nitay Calderon ja Gal Yona ehdottavat käyttäytymiseen perustuvaa viitekehystä, jota he kutsuvat tiedon profilointiksi ja joka erottaa toisistaan, johtuvatko suurten kielimallien (LLM) tiedolliset virheet puuttuvasta tiedosta (koodausvirhe) vai saavuttamattomasta tiedosta (palautusvirhe). He esittelevät WikiProfile-vertailuaineiston, joka sisältää 2 150 Wikipedian faktaa, joista jokaiseen on liitetty kysymyksiä, jotka tutkivat koodausta, palautusta ja tunnistamista. Arvioituaan 13 kielimallia sekä ajattelun kanssa että ilman, he osoittavat, että huippumallit, kuten Gemini-3-Pro ja GPT-5, koodaavat 95–98 prosenttia faktoista, mutta epäonnistuvat suoran palautuksen tehtävissä 26–34 prosentin osalta, ja jopa ajattelun kanssa epäonnistumisia on 11–12 prosenttia. Gemma 3 -perheen skaalaaminen vähentää koodausvirheitä, mutta palautusvirheet säilyvät, mikä viittaa siihen, että palautus on pullonkaula. Palautukseen vaikuttaa harjoituskonteksti, pitkän hännän faktat koodataan mutta niitä on vaikea palauttaa, ja käänteiskirous (reversal curse) tulkitaan uudelleen palautusongelmaksi, koska tunnistaminen monivalintatehtävissä ei ole heikentynyt. Ajattelu parantaa palautusta eniten harvinaisten ja käänteisten faktojen kohdalla, palauttaen 40–65 prosenttia koodatuista mutta ei suoraan tunnetuista faktoista, ja toimii palautusta helpottavana mekanismina eikä puhtaana päättelynä.