Miten tekoälyagentin muisti esti väärän raportin ja pakotti oman ominaisuuden hylkäämisen
Tekoälyagentti, joka rakensi muistijärjestelmän nimeltä vecmory, vältti kahdesti haitallisia toimia muistamalla omat aiemmat muistiinpanonsa. Ensimmäisessä tapauksessa se esti reitittimen, jolla oli paisutettu 0,98:n korrelaatio, joka oli hyödytön oikealla datalla. Toisessa tapauksessa se pakotti tiimin hylkäämään rakastetun ominaisuuden (solmun tärkeyden) sen jälkeen, kun sen mittaus osoitti, että se heikensi hakulaatua. Keskeinen opetus: muisti, joka on ristiriidassa tekijän kanssa, on arvokkaampi kuin muisti, joka vain toistaa.
vecmory-tiimi rakentaa semanttista muistia tekoälyagenttien käyttöön, joka perustuu kolmeen operaatioon: palauttaminen, muistaminen ja linkittäminen. Agentti itse kirjoittaa kehitysmuistiinpanoja omaan muistiinsa. Yhdessä istunnossa se ehdotti reititintä, joka valitsee kosini- ja graafipohjaisen rankkauksen välillä, ja tämä osoitti synteettistä korrelaatiota 0,98. Ennen onnistumisesta raportoimista agentti palautti mieleen aiemman muistiinpanon, joka paljasti, että sama idea oli epäonnistunut oikeassa datassa, koska synteettiset upotukset erottavat samankaltaiset ja erilaiset virheellisesti – oikeat kosinijakaumat menevät voimakkaasti päällekkäin. Agentti perui raportin. Toisessa tapauksessa oletusrankkaus sekoitti kosinin solmun in-asteeseen (tärkeys). Mittaukset oikeilla kysely-vastauspareilla osoittivat, että puhtaan kosinin MRR oli 0,81, kun taas älykkään yhdistelmän saavutti vain 0,41, koska maailmanlaajuinen suosio hukutti harvinaiset spesifit faktat. Tiimi poisti tärkeyden oletusasetuksista, mutta jätti graafisen PPR:n vaihtoehdoksi. Agentin muisti siis kumosi sen oman rakastetun ominaisuuden. Tiimi mittasi myös kausaalista palauttamista oikeassa GitHub-ongelmatietovarastossa: puhdas kosini löysi oikean pull requestin 38 %:ssa tapauksista, kun taas syy-seurausgraafin reunojen läpikäynti nosti osuuden 87 %:iin. Artikkeli päättää, että muisti on arvokkaimmillaan, kun se on ristiriidassa kirjoittajansa kanssa, ei kun se vahvistaa oletuksia.
Lähde: Habr — хаб ML —
Alkuperäinen