Ulkoinen kausaalimuistin vertailuarvo: AI-avustajan muistin testaus Yandexin YDB:llä
Яндекс
Kausaalimuistin vertailuarvo suoritettiin avoimen lähdekoodin YDB-repositoriossa (ydb-platform/ydb) mittaamaan, kuinka hyvin AI-avustaja hakee aiemmat korjaukset samankaltaisiin oireisiin. Pelkkä semanttinen haku löysi oikean PR:n 32,1 prosentissa tapauksista, kun taas eksplisiittisten kausaalireunojen (ongelma -> sulkeva PR) läpikäynti saavutti 94,5 prosentin tuloksen, mikä osoittaa graafin +62,5 prosenttiyksikön lisäyksen. Kaava toistuu riippumatta kielestä, toimialueesta tai tikettikulttuurista.
Tekijät rakensivat kausaalisen muistamisen vertailuaineiston julkisesta ydb-platform/ydb-repositoriosta (10 285 ongelmaa, 37 067 pull requestia, C++, englanti). He poimivat kultaiset parit GitHubin Closes/Fixes/Resolves #N-kuvion avulla (293 kelvollista paria, kun botien, ydbot ja github-actions, PR:t oli suodatettu pois). Jokaiselle kyselylle (ongelman otsikko) verrattiin kahta hakumenetelmää: (a) semanttinen kosinisamankaltaisuus, top-32, käyttäen monikielisiä MiniLM-upotuksia, ja (b) kausaalisten linkkien kulku samoista alkupisteistä enintään syvyyteen 3. Semanttinen muistaminen oli 32,1 % (94/293), kausaalinen muistaminen 94,5 % (277/293), mikä antaa graafin kontribuutioksi +62,5 prosenttiyksikköä. Tekijät korostavat, että keskeinen tulos ei ole tarkat luvut vaan toistettava kuvio: pelkkä semanttinen sanasamankaltaisuus yltää enintään noin kolmannekseen, kun taas eksplisiittiset kausaalilinkit parantavat muistamista dramaattisesti. He tarjoavat täydet kultaiset parit ja 6-vaiheisen menetelmän riippumatonta toistoa varten. Työssä huomioidaan myös satunnaisia havaintoja: 143 PR:ää, jotka ovat tekoälyagenttien (lähinnä GitHub Copilot) luomia, ja 173 revertti-PR:ää, mikä osoittaa, että muistiongelmat ovat todellisia.
Lähde: Habr — хаб ИИ —
Alkuperäinen