LangGraph, Hibrit RAG ve İmza Motoru: Akış Verileri için Evrensel Bir Grafik
Moonshot AI
LangGraph tabanlı eşzamansız bir grafik mimarisi sunulmakta olup, akış verilerini işlemek için büyük dil modeli, hibrit RAG (vektör arama + BM25) ve imzaları (YARA, Sigma) birleştirmektedir. Sistem siber güvenlik günlükleri üzerinde test edilmiş ancak inceleme analizi, spam filtreleme ve belge denetimine de uygulanabilir.
Bir geliştirici, LangGraph üzerinde tek bir asenkron grafikte bir LLM, hibrit RAG ve YARA ile Sigma imza motorlarını birleştiren bir mimari desen tanıttı. Log akışı Vector tarafından okunur, bir Lua betiği tarafından 20 satırlık bir örtüşme ile 250 satırlık parçalara bölünür, ardından yeniden deneme mantığı ve bir DLQ ile bir tüketiciye Kafka üzerinden iletilir. Grafik, iki paralel dal içerir: filtreleme, Agent 1 tarafından log gruplama, Description Agent tarafından açıklama üretimi ve MITRE ATT&CK tekniklerini arayan RAG Agent 2 içeren bir yapay zeka dalı; parse_logs, YARA ve Sigma taraması içeren deterministik bir dal. Dört akışın tamamı, nihai bir rapor üreten Agent 3'te birleşir: doğrulanan olaylar nihai rapora gider, doğrulanmayanlar ise "Manuel inceleme gerektirir" bloğuna gider. RAG, hibrit arama olarak uygulanır: 0,6 ağırlıkla vektör (ChromaDB) ve 0,4 ağırlıkla BM25, ardından LLM yeniden sıralaması. YARA, yerel yara-python derleyicisini kullanır; Sigma ise özel bir kural tabanlı motor kullanır. Sistem siber güvenlik logları üzerinde test edilmiştir ancak evrenseldir.
Kaynak: Habr — хаб ИИ —
orijinal