LangGraph, Hybrid RAG và Signature Engine: Một đồ thị phổ quát cho dữ liệu luồng

Một nhà phát triển đã giới thiệu một mẫu kiến trúc kết hợp LLM (Large Language Model - Mô hình ngôn ngữ lớn), RAG (Retrieval-Augmented Generation - Sinh văn bản có truy xuất tăng cường) lai, cùng các bộ máy chữ ký YARA và Sigma trong một đồ thị bất đồng bộ duy nhất trên LangGraph. Luồng log được Vector đọc vào, sau đó được một script Lua chia thành các đoạn 250 dòng với phần chồng lấp 20 dòng, rồi được chuyển qua Kafka tới một consumer có cơ chế thử lại (retry logic) và DLQ (Dead Letter Queue - hàng đợi thư chết). Đồ thị này gồm hai nhánh song song: một nhánh AI thực hiện lọc, gom nhóm log bởi Agent 1, sinh mô tả bởi Description Agent, và RAG Agent 2 tìm kiếm các kỹ thuật theo khung MITRE ATT&CK; một nhánh xác định (deterministic) gồm parse_logs, quét YARA và quét Sigma. Cả bốn luồng này hợp nhất tại Agent 3, nơi tạo ra báo cáo cuối cùng: các sự cố được xác nhận sẽ đưa vào báo cáo cuối, còn các trường hợp chưa xác nhận sẽ được đưa vào mục "Cần rà soát thủ công". RAG được triển khai dưới dạng tìm kiếm lai: tìm kiếm vector (sử dụng ChromaDB) với trọng số 0,6 và BM25 với trọng số 0,4, sau đó được LLM xếp hạng lại (re-ranking). YARA sử dụng trình biên dịch yara-python gốc, còn Sigma sử dụng một bộ máy dựa trên quy tắc (rule-based engine) tùy chỉnh. Hệ thống đã được thử nghiệm trên các log an ninh mạng, nhưng có tính ứng dụng tổng quát.