LangGraph, Hybrid RAG en Signature Engine: een universele graaf voor streaming data

Een ontwikkelaar heeft een architectuurpatroon geïntroduceerd dat een LLM, hybride RAG en de YARA- en Sigma-signatuurmotoren combineert in één asynchrone graaf op LangGraph. De logstroom wordt gelezen door Vector, gesplitst door een Lua-script in chunks van 250 regels met een overlap van 20 regels, en vervolgens via Kafka naar een consumer met retry-logica en een DLQ gestuurd. De graaf bevat twee parallelle takken: een AI-tak met filtering, loggroepering door Agent 1, beschrijvingsgeneratie door Description Agent, en RAG Agent 2, die zoekt naar MITRE ATT&CK-technieken; en een deterministische tak met parse_logs, YARA- en Sigma-scanning. Alle vier de streams komen samen in Agent 3, die een eindrapport produceert: bevestigde incidenten gaan naar het eindrapport, niet-bevestigde gaan naar een blok 'Handmatige controle vereist'. RAG is geïmplementeerd als hybride zoekopdracht: vector (ChromaDB) met gewicht 0,6 en BM25 met gewicht 0,4, gevolgd door LLM-herwaardering. YARA gebruikt de native yara-python-compiler, Sigma gebruikt een aangepaste op regels gebaseerde engine. Het systeem is getest op cybersecuritylogs maar is universeel.