Autotutkimuksen aikakausi: Menin nukkumaan ja 40 hypoteesia testattiin yön aikana — Mitä minun pitäisi tehdä ja miten työskennellä seuraavaksi?

Eräs insinööri kertoo, miten hän manuaalisen hypoteesien testaamisen sijaan kirjoitti tekstikuvauksen hypoteesien tuottoputkesta, pyysi Geminiä arvioimaan jokaista yritystä ja antoi agentin pyöriä yön yli. Aamulla loki osoitti 40 hypoteesia testattuna. Hän vertaa varhaisia naiiveja yrityksiään (kymmenen agentin ajamista rinnakkain ilman suunnitelmaa) ja toista yritystään (yksityiskohtaisen asialistan antaminen agenteille) laiskaan iltamenetelmään, joka toimi. Hän selittää, että avain ei ollut agenttien parempi hallinta vaan se, kuka arvioi tuloksen. Hän viittaa aiempiin esimerkkeihin: sankalpin QR-hajotelma saavuttaa 232-kertaisen nopeutuksen erissä suoritettavassa QR:ssä, Karpathyn 630-rivinen autotutkimusskripti suoritti satoja kokeita yön yli, ja DeepMindin AlphaEvolve paransi ratkaisuja 20 prosentissa 50:stä avoimesta matematiikan ongelmasta ja nopeutti Googlen datakeskuksia, sirusuunnittelua ja tekoälyn koulutusta. Hän kertoo kaksi henkilökohtaista tapausta: ensimmäisessä hän käytti kaksi viikkoa datan suodattimien käsin tekemiseen, mutta Gemini-pohjainen oraakkeli, jossa oli visuaalinen kielimalli, päihitti sen parilla ajokerralla; toisessa hän sai 30 prosentin harjoitusnopeutuksen, mutta törmäsi sudenkuoppiin: hän unohti lisätä häviön pariteettitarkistuksen (mikä johti NaN-häviöön), ja riittämättömän yksityiskohtainen oraakkeli jäi huomaamatta artefakteja, kuten jäljelle jääneet kirjaimet kuva-teksti-poistossa. Hän korostaa, että hyvän oraakkelin ja silmukan rakentaminen on varsinainen työ, ja että silmukan sisällä oleva malli on merkityksellinen. Hän päättelee, että asiantuntemus on siirtymässä "ratkaisun löytämisestä" "järjestelmän rakentamiseen, joka löytää ratkaisuja".