LangGraph, Hybrid RAG e Signature Engine: um Grafo Universal para Dados em Fluxo

Um desenvolvedor apresentou um padrão arquitetônico que combina um LLM, RAG híbrido e os mecanismos de assinatura YARA e Sigma em um único grafo assíncrono no LangGraph. O fluxo de logs é lido pelo Vector, dividido por um script Lua em blocos de 250 linhas com sobreposição de 20 linhas e, em seguida, passado pelo Kafka para um consumidor com lógica de nova tentativa e uma fila de mensagens mortas (DLQ). O grafo contém duas ramificações paralelas: uma ramificação de IA com filtragem, agrupamento de logs pelo Agente 1, geração de descrições pelo Agente de Descrição e o Agente RAG 2, que pesquisa técnicas MITRE ATT&CK; uma ramificação determinística com parse_logs, varredura YARA e Sigma. Todos os quatro fluxos são mesclados no Agente 3, que produz um relatório final: incidentes confirmados entram no relatório final, não confirmados vão para o bloco "Requer revisão manual". O RAG é implementado como pesquisa híbrida: vetorial (ChromaDB) com peso 0,6 e BM25 com peso 0,4, seguido de reclassificação por LLM. O YARA usa o compilador nativo yara-python, o Sigma usa um mecanismo personalizado baseado em regras. O sistema foi testado em logs de segurança cibernética, mas é universal.