RAG: Vertailuarvot ovat tärkeämpiä kuin koodi. Tarina botista, jossa 'oikeat' parannukset huononsivat tulosta
Kehittäjä rakensi RAG-botin moderoidakseen kryptokeskusteluja, mutta huomasi, että tavanomaiset parannukset — BM25 ja uudelleenjärjestäjä — heikensivät vain mittareita. Ainoa tehokas muutos oli raja-arvon kalibrointi. Artikkeli korostaa perusteellisen vertailun tärkeyttä omalla datalla.
Eräs kehittäjä ryhtyi rakentamaan RAG-bottia kryptovaluuttakeskustelujen käyttäjien kohdennettuun tukeen: botin piti löytää samankaltaisia kyselyitä ja näyttää olemassa olevia ylläpitäjän vastauksia. Käyttämällä 3,9 miljoonan viestin korpusta ja 51 kysymyksen arviointijoukkoa hän mittasi puhtaan vektoreiden haun perustason hit@3:ksi 74 prosenttia. Yrittäessään parantaa järjestelmää hän lisäsi hybridihaun BM25:llä ja ristiinkoodaavan uudelleenjärjestäjän eli rerankerin. Molemmat muutokset heikensivät mittaria: hybridi antoi 55 prosenttia, reranker 64 prosenttia ja hybridi ja reranker yhdessä 57 prosenttia. Analyysi osoitti, että BM25 oli tehoton, koska tarkkoja tokeneita ei esiintynyt otantakysymysten korpuksessa, kun taas reranker pilasi jo hyvän järjestyksen. Ainoa hyödyllinen muutos oli katkaisurajan säätäminen botin rooliin sopivaksi (varavastaus, ei lopullinen vastaaja): tämä paransi hyödyllisen tuotoksen määrää ilman ylimääräistä koodia. Pääopetus on, että RAG:ssa merkitystä ei ole alan oletusarvoilla, vaan rehellisillä mittauksilla ja datan siistimisellä.
Lähde: Habr — хаб ИИ —
Alkuperäinen