Domain-Reititettyjen Agenttien vs. Naiivi RAG: Vertailu Pöytäroolipelin Asiantuntijajärjestelmätehtävässä
Langfuse
Projektin tekijä, jonka innoittajana on luoda asiantuntijajärjestelmä Vampire: The Masquerade -universumia varten, vertaa kahta lähestymistapaa: klassista RAG:ia ja moniagenttiarkkitehtuuria, jossa on domain-reititys. Arviointia varten he keräsivät datasettinä 40 kysymystä, joiden vaikeustaso vaihtelee. Tulokset osoittavat, että agenttipohjainen lähestymistapa päihittää naiivi RAG:in vastausten täydellisyydessä monialuekyselyissä.
Olen aloitteleva tarinankertoja pöytäroolipelissä Vampire: The Masquerade, ja minun täytyi löytää nopeasti sääntöjä ja taustatietoa. Loin asiantuntijajärjestelmän virallisen wikin pohjalta, kaapimalla 176 tiedostoa (~750 000 tokenia), jotka on jaettu 7 osa-alueeseen. Klassisen RAG:n sijaan valitsin moniagenttigraafin LangGraphilla, jossa Router ohjaa kyselyn osa-alueiden asiantuntijoille, jotka itse lukevat tarvittavat tiedostot. Arviointia varten kokosin datajoukon 40 kysymyksestä (10 tason 1 — faktan etsintä, 10 tason 2 — synteesi, 10 tason 3 — osa-alueita ylittävät, 5 hallusinaatiosuojaus, 5 osa-alueen ulkopuolella). Vertasin kahta menetelmää: naiivi vektori-RAG ja moniagenttiagentti. Agentti osoitti parempaa laatua osa-alueita ylittävissä kysymyksissä, vaikka häviääkin RAG:lle nopeudessa ja kustannuksissa.
Lähde: Habr — хаб NLP —
Alkuperäinen