Cluster-Mathematik: Intelligente Daten-Clusterung mit unserem Log-Anomalie-Erkennungssystem verstehen. Teil 1
Andrey Basov, Leiter des technischen Supports bei MWS, beschreibt die Architektur eines neuen Systems zur Analyse der Produktgesundheit, das Anomalien in Logs erkennt. Das System nutzt Vektorisierung auf Basis großer Sprachmodelle (Large Language Models, LLMs), Dimensionsreduktion mittels Hauptkomponentenanalyse (PCA) sowie dynamische Clusterung mit Bayes'scher Adaption und Metriken basierend auf minimalen Spannbäumen (MST). Dies ist der erste Teil einer Serie, die die zugrunde liegende Mathematik und Techniken erläutert.
Andrey Basov, Leiter des technischen Support-Teams für den Stream der Unternehmensprodukte und -dienstleistungen bei MWS, beschreibt ein neues System zur Analyse der Produktgesundheit, das er und seine Kollegen nach der Überarbeitung ihres bisherigen Ansatzes zur Erkennung von Log-Anomalien entwickelt haben. Das System ist eine Microservice-Architektur mit einem ereignisgesteuerten und inkrementellen Verarbeitungsdesign, die Komponenten wie ml-log-anomaly-cluster-manager-detector für den Log-Empfang, die Vektorisierung, das Clustering und die Aktualisierung des Cluster-Zustands umfasst; ml-log-anomaly-cluster-manager-retrain für den periodischen Neuaufbau von Clustern; ml-log-anomaly-cluster-manager-cleaner für die Archivierung und Löschung veralteter Daten; und ml-log-anomaly-cluster-manager-exporter für den Export der Ergebnisse an Überwachungssysteme wie Grafana und OpenSearch. Die Dienste kommunizieren über gemeinsame Datenspeicher: Qdrant speichert Log-Vektoren (768-dimensionale BGEM3-Embeddings) und Cluster-Metadaten (Zentroide, Grenzen, Bayes'sche Parameter, MST-Metriken, Flags), während PostgreSQL Konfiguration, Prozesszustand und historische Daten verwaltet. Der Datenfluss umfasst das Abrufen von Logs aus OpenSearch, die Normalisierung, Deduplizierung, Vektorisierung über ein LLM (BGEM3), die Dimensionsreduktion mit adaptiver Hauptkomponentenanalyse (PCA) und anschließend das Clustering unter Verwendung des Kosinus-Abstands, um das nächste Cluster zu finden; wenn der Abstand die adaptive Grenze überschreitet, wird der Punkt als Anomalie markiert und für die nächtliche Verarbeitung gespeichert. HDBSCAN wird verwendet, um während der nächtlichen Neubauten neue Cluster aus Anomalien zu bilden. Die Mathematik des Systems ist in das Objektmodell des Clusters integriert, wodurch jedes Cluster ein selbstjustierender Agent mit internem Zustand, Statistiken, Namen und Verhalten ist, was eine dynamische Grenzanpassung, Bayes'sche Schwellenwertadaption, Überwachung von Zentroidgeschwindigkeit und -beschleunigung, MST-basierte Dichteschätzung und inkrementelle Aggregataktualisierungen ermöglicht. Der Artikel behandelt auch grundlegende Konzepte der linearen Algebra: Vektoren, Vektoroperationen, Skalarprodukt und euklidische Norm, die für das Verständnis der Clustering-Methoden wesentlich sind.
Quelle: Хабр — Data Mining —
Original