Domain-reititetyt agentit vs. Naiivi RAG: Vertailu asiantuntijajärjestelmän tehtävässä pöytäroolipelille
Langfuse
Artikkelissa kuvataan asiantuntijajärjestelmän kehittäminen pöytäroolipelille Vampire: The Masquerade, vertaillen domain-reititettyä moniagenttimenetelmää naiiviin vektori-RAG:iin. Kirjoittajat keräsivät tietokannan, jossa on 176 tiedostoa (~750 000 tokenia) virallisesta wikistä, luokiteltuina 7 domainiin. He rakensivat LangGraph-pohjaisen agentin, jossa on reititin, rinnakkaiset domain-asiantuntijat ja syntetisoija, ja testasivat sitä 40 kysymyksellä vaihtelevasta monimutkaisuudesta. Agentti suoriutui naiivia RAG:ia paremmin poimimaan usean domainin tosiasioita ja käsittelemään aihealueen ulkopuolisia kysymyksiä.
Kirjoittaja, ensikertalainen Vampire: The Masquerade -roolipelin tarinankertoja, kohtasi haasteen opetella ulkoa satoja sivuja sääntöjä. Avuksi hän rakensi asiantuntijajärjestelmän, joka käyttää virallista yhteisön wikipediatietokantana. Wiki jäsennettiin Playwrightin avulla, siivottiin ja jaettiin seitsemään osa-alueeseen: Mekaniikka, Kyvyt, Tarusto, Klaanit, Sektit, Taidot ja Ominaisuudet, yhteensä 176 Markdown-tiedostoa (noin 750 000 merkkiä, eli tokenia). Naiivin RAG-menetelmän (Retrieval-Augmented Generation) sijasta, joka epäonnistuu eri osa-alueita koskevissa kyselyissä lohkomisen ja semanttisen etäisyyden vuoksi, kirjoittaja toteutti monitoimija-arkkitehtuurin käyttäen LangGraphia. Järjestelmä koostuu Blackboardista (jaettu tila), Reitittimestä, joka tunnistaa olennaiset osa-alueet, rinnakkaisista Asiantuntija-agenttit, jotka lukevat vain tarvittavat asiakirjat read_document-työkalun avulla, ja Syntetisoijasta, joka tuottaa lopullisen vastauksen. Arviointia varten luotiin 40 kysymystä: 10 faktakysymystä, 10 synteesi, 10 eri osa-alueita yhdistävää, 5 harhatestikysymystä (vanha tarusto) ja 5 oman osa-alueen ulkopuolista. Jokaiselle kysymykselle tehtiin tarkistuslista tarvittavista faktoista. Järjestelmää verrattiin naiiviin vektori-RAG-perustasoon käyttäen Langfuseä kirjaamiseen ja pisteytykseen.
Lähde: Habr — хаб NLP —
Alkuperäinen