Kielimallit eivät voi käynnistää tieteellisiä vallankumouksia, mutta maailmamallit saattaisivat

Googlen DeepMindin Tom Zahavy väittää kannanotossaan 'LLMs can't jump', että kielimallit eivät pysty käynnistämään tieteellisiä vallankumouksia, koska niiltä puuttuu keskeinen kognitiivinen mekanismi aidosti uusien ideoiden luomiseen. Hän käyttää Einsteinin löytämisen mallia syklinä: aistikokemuksesta intuitiivisen 'hypyn' kautta aksioomiin, sitten looginen johtaminen testattaviin johtopäätöksiin. Zahavy erottaa kolme päättelyn tyyppiä: deduktion, induktion ja abduktion, ja väittää, että kielimallit hallitsevat induktion ja deduktion, mutta eivät 'manipulatiivista abduktiota' – eli syyn keksimistä, jolle ei vielä ole kielellistä mallia. Hän havainnollistaa tätä Einsteinin työllä ja huomauttaa, ettei tuolloin ollut datakriisiä; Newtonin fysiikka oli erittäin tarkkaa lukuun ottamatta pientä poikkeamaa Merkuriuksen radassa, ja puhtaasti optimoiva tekoäly olisi saattanut keksiä hypoteettisen planeetan mieluummin kuin miettiä uudelleen ajan ja avaruuden käsitteet. Zahavy väittää, että Einsteinin 'onnellisin ajatus' – vapaa putoava havaitsija – sai alkunsa kehollisesta simulaatiosta, kehon tunteesta, ei kaavojen pyörittelystä. Hän vertaa tätä Arkhimedeen eureka-hetkeen kylpyammeessa. Kielimalleilta puuttuu tämä aistipohjainen ankkurointi; ne ovat kuin 'kiinalainen huone' – liikuttelevat symboleja ilman pääsyä keholliseen kokemukseen. Hän huomauttaa, että järjestelmät, kuten Sakanan AI Scientist ja DeepMindin AlphaEvolve, voivat automatisoida tiedettä, mutta joko yhdistelevät olemassa olevia käsitteitä tai vaativat selkeän virhesignaalin, jota Einsteinillä ei koskaan ollut. Mahdollisena polkuna Zahavy ehdottaa fyysisesti johdonmukaisia maailmanmalleja: videogeneraattorit, kuten Veo, ennustavat vain seuraavan kehyksen, mutta toimintaohjattavat maailmanmallit, kuten Genie, antavat agenttien puuttua peliin ja suorittaa kontrafaktuaalisia kokeita, mikä tarjoaa palautteen, jota tarvitaan uusien aksioomien keksimiseen. Zahavy on varovainen ja sanoo, että paperi 'ehdottaa', mutta ei todista, että tämä hyppy on kriittinen pullonkaula.