включающую такие компоненты, как ml-log-anomaly-cluster-manager-detector для приема логов, векторизации, кластеризации и обновления состояния кластеров; ml-log-anomaly-cluster-manager-retrain для периодического перестроения кластеров; ml-log-anomaly-cluster-manager-cleaner для архивации и удаления устаревших данных; и ml-log-anomaly-cluster-manager-exporter для экспорта результатов в системы мониторинга, такие как Grafana и OpenSearch. Сервисы взаимодействуют через общие хранилища данных: Qdrant хранит векторы логов (768-мерные эмбеддинги BGEM3) и метаданные кластеров (центроиды, границы, байесовские параметры, метрики минимального остовного дерева, флаги), а PostgreSQL управляет конфигурацией, состоянием процессов и историческими данными. Поток данных включает получение логов из OpenSearch, нормализацию, дедупликацию, векторизацию с помощью большой языковой модели (BGEM3), снижение размерности с помощью адаптивного метода главных компонент, а затем кластеризацию с использованием косинусного расстояния для поиска ближайшего кластера; если расстояние превышает адаптивную границу, точка помечается как аномалия и сохраняется для ночной обработки. Для построения новых кластеров из аномалий при ночном перестроении используется HDBSCAN. Математика системы интегрирована в объектную модель кластера, что делает каждый кластер самонастраивающимся агентом с внутренним состоянием, статистикой, именем и поведением, обеспечивая динамическую корректировку границ, адаптацию байесовских порогов, мониторинг скорости и ускорения центроида, оценку плотности на основе минимального остовного дерева и инкрементальное обновление агрегатов. В статье также рассматриваются фундаментальные концепции линейной алгебры: векторы, операции с векторами, скалярное произведение и евклидова норма,

Показать ещё ↓