LangGraph, Hybrid RAG 및 시그니처 엔진: 스트리밍 데이터를 위한 유니버설 그래프

한 개발자가 LLM, 하이브리드 RAG, 그리고 YARA 및 Sigma 시그니처 엔진을 LangGraph의 단일 비동기 그래프로 결합하는 아키텍처 패턴을 소개했습니다. 로그 스트림은 Vector가 읽고, Lua 스크립트가 250줄 단위로 분할하되 20줄의 오버랩을 두어 청크로 나눈 다음, Kafka를 통해 재시도 로직과 DLQ(Dead Letter Queue)가 있는 컨슈머로 전달됩니다. 그래프에는 두 개의 병렬 분기가 있습니다. AI 분기에는 필터링, Agent 1에 의한 로그 그룹화, Description Agent에 의한 설명 생성, 그리고 MITRE ATT&CK 기법을 검색하는 RAG Agent 2가 있습니다. 결정적 분기에는 parse_logs, YARA, Sigma 스캔이 있습니다. 네 개의 스트림은 모두 Agent 3에서 병합되어 최종 보고서를 생성합니다. 확인된 인시던트는 최종 보고서에 포함되고, 확인되지 않은 것은 '수동 검토 필요' 블록에 들어갑니다. RAG는 하이브리드 검색으로 구현됩니다. 벡터(ChromaDB) 가중치 0.6과 BM25 가중치 0.4를 사용하며, 이후 LLM 재순위화가 이어집니다. YARA는 네이티브 yara-python 컴파일러를 사용하고, Sigma는 사용자 정의 규칙 기반 엔진을 사용합니다. 이 시스템은 사이버보안 로그에서 테스트되었지만 범용적으로 사용할 수 있습니다.