LangGraph, Hybrid RAG und Signature Engine: Ein universeller Graph für Streaming-Daten
Moonshot AI
Es wird eine Architektur eines asynchronen Graphen vorgestellt, die auf LangGraph basiert und LLM, hybrides RAG (Vektorsuche + BM25) sowie Signaturen (YARA, Sigma) für die Verarbeitung von Streaming-Daten kombiniert. Das System wurde anhand von Protokolldaten der Cybersicherheit getestet, kann aber auch für Rezensionsanalysen, Spam-Filterung und Dokumentenmoderation eingesetzt werden.
Ein Entwickler hat ein Architekturmuster vorgestellt, das ein LLM, hybride RAG sowie die Signatur-Engines YARA und Sigma in einem einzigen asynchronen Graphen auf LangGraph kombiniert. Der Log-Stream wird von Vector gelesen, von einem Lua-Skript in Blöcke von 250 Zeilen mit 20 Zeilen Überlappung aufgeteilt und anschließend über Kafka an einen Consumer mit Retry-Logik und einer Dead Letter Queue (DLQ) weitergeleitet. Der Graph enthält zwei parallele Zweige: einen KI-Zweig mit Filterung, Log-Gruppierung durch Agent 1, Beschreibungserzeugung durch den Beschreibungs-Agenten sowie RAG-Agent 2, der nach MITRE ATT&CK-Techniken sucht; und einen deterministischen Zweig mit parse_logs, YARA- und Sigma-Scanning. Alle vier Streams fließen in Agent 3, der einen endgültigen Bericht erstellt: bestätigte Vorfälle gehen in den endgültigen Bericht ein, unbestätigte in einen Block „Manuelle Überprüfung erforderlich“. RAG ist als hybride Suche implementiert: Vektor (ChromaDB) mit Gewicht 0,6 und BM25 mit Gewicht 0,4, gefolgt von einem LLM-Re-Ranking. YARA nutzt den nativen yara-python-Compiler, Sigma eine eigene regelbasierte Engine. Das System wurde mit Cybersicherheits-Logs getestet, ist aber universell einsetzbar.
Quelle: Habr — хаб ИИ —
Original