LangGraph, гибридный RAG и сигнатурный движок: универсальный граф для потоковых данных
Представлена архитектура асинхронного графа на LangGraph, объединяющая LLM, гибридный RAG (векторный поиск + BM25) и сигнатуры (YARA, Sigma) для обработки потоковых данных. Система тестировалась на логах кибербезопасности, но может применяться для анализа отзывов, фильтрации спама и модерации документов.
Разработчик представил архитектурный паттерн, объединяющий большую языковую модель (LLM), гибридный RAG и сигнатурные движки YARA и Sigma в единый асинхронный граф на LangGraph. Поток журналов читается через Vector, разбивается Lua-скриптом на фрагменты по 250 строк с перекрытием в 20 строк, затем передается через Kafka потребителю с логикой повторов и очередью недоставленных сообщений (DLQ).
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал