LangGraph, Hybrid RAG, dan Signature Engine: Grafik Universal untuk Data Streaming

Seorang pengembang telah memperkenalkan pola arsitektur yang menggabungkan LLM, RAG hibrida, dan mesin tanda tangan YARA dan Sigma dalam satu grafik asinkron di LangGraph. Aliran log dibaca oleh Vector, dipecah oleh skrip Lua menjadi potongan-potongan 250 baris dengan tumpang tindih 20 baris, kemudian melewati Kafka ke konsumen dengan logika percobaan ulang dan DLQ. Grafik berisi dua cabang paralel: cabang AI dengan pemfilteran, pengelompokan log oleh Agen 1, pembuatan deskripsi oleh Agen Deskripsi, dan Agen RAG 2, yang mencari teknik MITRE ATT&CK; cabang deterministik dengan parse_logs, pemindaian YARA, dan Sigma. Keempat aliran bergabung ke Agen 3, yang menghasilkan laporan akhir: insiden yang dikonfirmasi masuk ke laporan akhir, yang tidak terkonfirmasi masuk ke blok "Perlu peninjauan manual". RAG diimplementasikan sebagai pencarian hibrida: vektor (ChromaDB) dengan bobot 0,6 dan BM25 dengan bobot 0,4, diikuti dengan pemeringkatan ulang LLM. YARA menggunakan kompiler yara-python asli, Sigma menggunakan mesin berbasis aturan kustom. Sistem telah diuji pada log keamanan siber tetapi bersifat universal.