Matematika Cluster: Memahami Pengelompokan Data Cerdas dengan Sistem Deteksi Anomali Log Kami. Bagian 1
Andrey Basov, kepala dukungan teknis di MWS, menjelaskan arsitektur sistem baru untuk menganalisis kesehatan produk yang mendeteksi anomali dalam log. Sistem ini menggunakan vektorisasi berbasis LLM (Large Language Model), reduksi dimensi PCA (Principal Component Analysis), dan pengelompokan dinamis dengan adaptasi Bayesian dan metrik MST (Minimum Spanning Tree). Ini adalah bagian pertama dari seri yang menjelaskan matematika dan teknik yang mendasarinya.
Andrey Basov, kepala tim dukungan teknis untuk aliran produk dan layanan korporat di MWS, menjelaskan sistem baru untuk menganalisis kesehatan produk yang ia dan rekan-rekannya kembangkan setelah merombak pendekatan deteksi anomali log sebelumnya. Sistem ini merupakan arsitektur mikroservis dengan desain pemrosesan berbasis peristiwa dan inkremental, terdiri dari komponen-komponen seperti ml-log-anomaly-cluster-manager-detector untuk penerimaan log, vektorisasi, pengelompokan, dan pembaruan status kluster; ml-log-anomaly-cluster-manager-retrain untuk pembangunan ulang kluster secara berkala; ml-log-anomaly-cluster-manager-cleaner untuk pengarsipan dan penghapusan data usang; serta ml-log-anomali-cluster-manager-exporter untuk mengekspor hasil ke sistem pemantauan seperti Grafana dan OpenSearch. Layanan-layanan ini berkomunikasi melalui penyimpanan data bersama: Qdrant menyimpan vektor log (embedding BGEM3 768 dimensi) dan metadata kluster (centroid, batas, parameter Bayesian, metrik MST, penanda), sementara PostgreSQL mengelola konfigurasi, status proses, dan data historis. Alur data melibatkan pengambilan log dari OpenSearch, normalisasi, deduplikasi, vektorisasi melalui LLM (BGEM3), reduksi dimensi dengan PCA adaptif, kemudian pengelompokan menggunakan jarak kosinus untuk menemukan kluster terdekat; jika jarak melebihi batas adaptif, titik tersebut ditandai sebagai anomali dan disimpan untuk pemrosesan malam hari. HDBSCAN digunakan untuk membangun kluster baru dari anomali selama pembangunan ulang malam hari. Matematika sistem terintegrasi ke dalam model objek kluster, menjadikan setiap kluster sebagai agen yang menyesuaikan diri dengan status internal, statistik, nama, dan perilaku, memungkinkan penyesuaian batas dinamis, adaptasi ambang Bayesian, pemantauan kecepatan dan percepatan centroid, estimasi kepadatan berbasis MST, dan pembaruan agregat inkremental. Artikel ini juga mencakup konsep dasar aljabar linear: vektor, operasi vektor, produk skalar, dan norma Euclid, yang penting untuk memahami metode pengelompokan.
Sumber: Хабр — Data Mining —
asli