LangGraph, hybridi RAG ja allekirjoitusmoottori: universaali graafi suoratoistodatalle
Moonshot AI
Esitellään LangGraphiin perustuva asynkroninen graafiarkkitehtuuri, joka yhdistää LLM:n, hybridi RAG:n (vektorihaku + BM25) ja allekirjoitukset (YARA, Sigma) suoratoistodatan käsittelyyn. Järjestelmää testattiin kyberturvallisuuslokeilla, mutta sitä voidaan soveltaa arvosteluanalyysiin, roskapostisuodatukseen ja asiakirjamoderointiin.
Eräs kehittäjä on esitellyt arkkitehtuurikuvion, joka yhdistää suuren kielimallin, hybridi-RAG:n sekä YARA- ja Sigma-signatuurimoottorit yhteen asynkroniseen graafiin LangGraphissa. Lokiovirran lukee Vector, joka jakaa sen Lua-skriptillä 250 rivin paloiksi 20 rivin limityksellä, minkä jälkeen se viedään Kafka-välityksellä kuluttajalle, jossa on uudelleenyrityslogiikka ja DLQ. Graafi sisältää kaksi rinnakkaista haaraa: tekoälyhaaran, jossa on suodatus, lokien ryhmittely Agentti 1:llä, kuvausten tuottaminen Kuvaaja-agentilla sekä RAG-agentti 2, joka etsii MITRE ATT&CK -tekniikoita; sekä deterministisen haaran, jossa on parse_logs, YARA- ja Sigma-skannaus. Kaikki neljä virtaa yhdistyvät Agentti 3:ssa, joka tuottaa lopullisen raportin: vahvistetut tapahtumat sisällytetään lopulliseen raporttiin, vahvistamattomat päätyvät ”Edellyttää manuaalista tarkistusta” -osioon. RAG on toteutettu hybridihakuna: vektori (ChromaDB) painolla 0,6 ja BM25 painolla 0,4, minkä jälkeen suoritetaan LLM-uudelleenjärjestys. YARA käyttää natiivia yara-python-kääntäjää, Sigma käyttää mukautettua sääntöpohjaista moottoria. Järjestelmää on testattu kyberturvallisuuslokeilla, mutta se on yleiskäyttöinen.
Lähde: Habr — хаб ИИ —
Alkuperäinen
