Agenttinen RAG, TRuST-vertailuaineisto ja mitä tekemistä Nafanyalla on sen kanssa

Nafanya on Nikolain kehittämä agenttipohjainen RAG-assistentti rakennusalan ja hinnoittelun normatiiviseen sekä tekniseen dokumentaatioon. Se käyttää multi-agenttiarkkitehtuuria, johon kuuluu suunnittelija, hakija, arvioija, generaattori ja kriitikko. Hakukyvyn testaamiseksi kirjoittaja sovelsi TRuST-vertailuaineistoa, joka sisältää 324 monimutkaista venäjänkielistä kysymystä ja vaatii monivaiheista hakua. Aluksi järjestelmän suorituskyky oli heikko, mutta lisäämällä CoverageCritic-komponentin ja optimoimalla arkkitehtuuria Recall All -mittari parani arvosta 0,25 arvoon 0,45 ja vastausten oikeellisuus 34 prosentista 56 prosenttiin. Myöhemmin lisättiin Final Critic -komponentti, ja järjestelmä hyödyntää ulkoisia sovellusrajapintoja, kuten Qwen ja DeepSeek. Kirjoittaja huomauttaa, että TRuST perustuu BrowseComp-Plus-menetelmään ja sisältää kiinteän hakemiston sekä erilaisia hakukompleksisuustyyppejä.