Science One Framework: Varmennettava autonominen tutkimuskehys todisteketjujen avulla

Google Research on esitellyt Science One Frameworkin, autonomisen tutkimusprototyypin, joka on suunniteltu poistamaan hallusinaatiot rakentamalla natiivisti todennettavia todistusketjuja, sekä CoE Audit -protokollan, automaattisen menetelmän tekoälyn tuottamien tutkimuspaperien eheyden arviointiin. Kehys perustuu Chain-of-Evidence (CoE) -konseptiin, uuteen todennettavuusajatteluun, joka vaatii, että jokaisella tutkimustuotteen väitteellä on tallennettu todistusketju (täydellisyys) ja jokainen ketju todella tukee väitettä (oikeellisuus). Science One Framework toteuttaa CoE:n kolmen päämoduulin avulla: Idea Explorer, Problem Investigator ja Solution Developer. CoE Audit soveltaa neljää tiukkaa eheystarkastusta: viitetarkistus, pisteytystarkistus, koodin toistettavuus ja menetelmä-koodi-yhteensopivuus. Arvioinnissa 75 paperilla ADRS-vertailuaineistosta Science One saavutti nolla viitehallusinaatiota verrattuna perustason hallusinaatioasteisiin, jotka olivat jopa 21 prosenttia, täydellisen pisteytystarkistuksen ja korkeimman menetelmä-koodi-yhteensopivuuden, samalla kun se vastasi tai ylitti ihmisasiantuntijoiden suorituskyvyn kaikissa viidessä ADRS-tehtävässä. Kehystä testattiin myös kuudella ulkoisella monimutkaisella tehtävällä, mukaan lukien MLE-Bench ja Parameter-Golf, ja se saavutti huippuluokan tuloksia.