Pomon 73 arvostelukommentin muuttaminen tietoaineistoksi: Arvioijan digitaalisen kaksosen luominen

Erään suuren organisaation työntekijä laatii teknisiä toteutettavuusselvityksiä tekoälyprojekteista. Hän oli automatisoitunut tehtävän LLM-agentilla, joka kerää projektidokumentit, poimii tekstin, täyttää strukturoidun JSON-muodon ja tuottaa DOCX:n mallipohjasta. Yhdeksän raportin toimittamisen jälkeen hänen esimiehensä palautti ne 73 kommentin kera, joista monet olivat toistuvia ja liittyivät puuttuviin lähteisiin, perusteettomiin väitteisiin ja ristiriitoihin. Hän käytti Pythonia poimiakseen kommentit DOCX-tiedostoista, minkä jälkeen hän antoi LLM:n ryhmitellä 73 kommenttia 16:ksi malliksi kuudessa ryhmässä, mukaan lukien toimeksiannon noudattaminen, todisteiden tuki, osaamisrajat, arkkitehtuurivalinnat, kysymysten syvyys ja vaiheportit. Hän tunnisti, että lähes kaikki kommentit olivat epistemologisia – ne vaativat väitteiden tilan selvää esittämistä, koska LLM tuottaa tasaisen itsevarmaa tekstiä. Hän teki kolme putkistomuutosta: merkitsi jokaisen väitteen [B] (toimeksiannosta), [E] (asiantuntija-arvio) tai [D] (oletus); lisäsi tarkistuslistan erillisenä putkivaiheena; ja tallensi tarkistuslistan agentin pysyvään muistiin. Seuraavat neljä asiakirjaa läpäisivät ilman toistuvia kommentteja, ja jäljellä oli vain uusia asiasisältöön liittyviä kysymyksiä. Kirjoittaja tunnustaa pienen otoskoon ja sen, että vaikutus johtuu osittain itse lähteen merkitsemisestä – ei siitä, että niillä ohitettaisiin arvioija, vaan että niillä muodollistetaan arvioijan hiljaiset laatustandardit.