LangGraph、ハイブリッドRAG、シグネチャエンジン：ストリーミングデータのためのユニバーサルグラフ

ある開発者が、LLM、ハイブリッドRAG、YARAおよびSigmaシグネチャエンジンを、LangGraph上の単一の非同期グラフに組み合わせたアーキテクチャパターンを紹介しました。ログストリームはVectorによって読み取られ、Luaスクリプトによって250行のチャンク（20行のオーバーラップ）に分割され、Kafkaを経由して、リトライロジックとDLQを備えたコンシューマに渡されます。グラフには2つの並列ブランチがあります。フィルタリング、エージェント1によるロググループ化、説明エージェントによる説明生成、およびMITRE ATT&CKテクニックを検索するRAGエージェント2を含むAIブランチと、parse_logs、YARA、Sigmaスキャンを含む決定論的ブランチです。これら4つのストリームはすべてエージェント3にマージされ、エージェント3が最終レポートを作成します。確認されたインシデントは最終レポートに含まれ、未確認のものは「手動レビューが必要」ブロックに含まれます。RAGはハイブリッド検索として実装されています。ベクトル（ChromaDB）の重みは0.6、BM25の重みは0.4で、その後LLMによる再ランキングが行われます。YARAはネイティブのyara-pythonコンパイラを使用し、Sigmaはカスタムのルールベースエンジンを使用します。このシステムはサイバーセキュリティログでテストされていますが、汎用的です。