Halpaa tuottaa, kallista varmistaa: Tekoälyn tuotosten piilokustannukset

Artikkelissa käsitellään tekoälyn tuottaman sisällön todentamisen haastetta ja korostetaan epäsymmetriaa alhaisten tuotantokustannusten ja korkeiden todentamiskustannusten välillä. National Taiwan Universityn tutkijat havaitsivat, että kielimallit voivat yhdistää todennettavia faktoja eri ihmisistä yhdeksi kuvitteellisen henkilön elämäkerraksi; tavalliset faktuaalisuusmittarit eivät huomanneet tätä, ja kun entiteettien epäselvyys otettiin huomioon, neljän avoimen mallin pisteet laskivat yli 10 prosenttia. Tutkimuksessa nimeltä Verify with Caution testattiin viittä faktuaalisuusmittaria yhdellätoista tietoaineistolla, ja löydettiin epäjohdonmukaisuuksia ja virheitä, erityisesti kun taustateksti oli kaukana väitteestä. Ihmiskokeissa tekoälyavusteisuus nopeutti todentamista, mutta johti liialliseen luottamukseen, kun malli antoi vakuuttavia mutta vääriä selityksiä; hyvien ja huonojen puolien näyttäminen lievensi tätä, mutta ei tarjonnut merkittävää etua hakukoneeseen verrattuna. Artikkelissa verrataan todentamista eri alueilla: koodin osalta on olemassa kääntäjät ja testit, matematiikassa käytetään muodollista todistuksen varmennusta (esimerkiksi AlphaProof ja AlphaGeometry 2 ratkaisivat neljä tehtävää vuoden 2024 kansainvälisissä matematiikkaolympialaisissa), mutta analytiikka ja strategia ovat vaikeampia todentaa. Ehdotuksia ovat lähteiden esittäminen ensin, kuten Attribute First, sitten Generate -menetelmässä, ja prosessipalkkioiden (ThinkPRM) käyttö päättelyvaiheiden tarkistamiseen. Artikkelissa mainitaan myös NIST:n riskipohjainen lähestymistapa ja EU:n tekoälyasetus, jotka edellyttävät enemmän dokumentaatiota ja valvontaa suuren riskin järjestelmille.