लैंगग्राफ, हाइब्रिड RAG और सिग्नेचर इंजन: स्ट्रीमिंग डेटा के लिए एक यूनिवर्सल ग्राफ

एक डेवलपर ने एक आर्किटेक्चरल पैटर्न पेश किया है जो LLM, हाइब्रिड RAG, और YARA तथा Sigma सिग्नेचर इंजन को LangGraph पर एक ही एसिंक्रोनस ग्राफ में जोड़ता है। लॉग स्ट्रीम को Vector द्वारा पढ़ा जाता है, Lua स्क्रिप्ट द्वारा 250 लाइनों के चंक्स में विभाजित किया जाता है, जिसमें 20 लाइनों का ओवरलैप होता है, फिर Kafka के माध्यम से रीट्राई लॉजिक और DLQ के साथ एक कंज्यूमर को भेजा जाता है। ग्राफ में दो समानांतर शाखाएँ हैं: एक AI शाखा जिसमें फ़िल्टरिंग, Agent 1 द्वारा लॉग समूहीकरण, Description Agent द्वारा विवरण निर्माण, और RAG Agent 2 शामिल है, जो MITRE ATT&CK तकनीकों की खोज करता है; एक निर्धारक शाखा जिसमें parse_logs, YARA, और Sigma स्कैनिंग शामिल है। सभी चार स्ट्रीम Agent 3 में विलीन हो जाती हैं, जो एक अंतिम रिपोर्ट तैयार करता है: पुष्टि किए गए इंसिडेंट अंतिम रिपोर्ट में जाते हैं, अपुष्ट इंसिडेंट "मैन्युअल समीक्षा आवश्यक" ब्लॉक में जाते हैं। RAG को हाइब्रिड खोज के रूप में लागू किया गया है: वेक्टर (ChromaDB) जिसका वज़न 0.6 है और BM25 जिसका वज़न 0.4 है, उसके बाद LLM री-रैंकिंग होती है। YARA मूल yara-python कंपाइलर का उपयोग करता है, Sigma एक कस्टम नियम-आधारित इंजन का उपयोग करता है। सिस्टम का परीक्षण साइबर सुरक्षा लॉग पर किया गया है, लेकिन यह सार्वभौमिक है।