Klusterimatematiikka: Älykkään data-klusteroinnin ymmärtäminen logipoikkeamien tunnistusjärjestelmällämme. Osa 1

Andrey Basov, teknisen tuen tiimin vetäjä yritystuotteiden ja -palveluiden streamissa MWS:llä, kuvailee uutta järjestelmää tuotteen kunnon analysointiin, jonka hän ja hänen kollegansa kehittivät uudistettuaan aiemman lokipoikkeamien havaitsemismenetelmän. Järjestelmä on mikropalveluarkkitehtuuri, jossa on tapahtumapohjainen ja inkrementaalinen prosessointisuunnittelu, ja se koostuu komponenteista, kuten ml-log-anomaly-cluster-manager-detector lokien vastaanottoon, vektorointiin, klusterointiin ja klusteritilojen päivitykseen; ml-log-anomaly-cluster-manager-retrain säännölliseen klusterien uudelleenrakentamiseen; ml-log-anomaly-cluster-manager-cleaner vanhentuneen datan arkistointiin ja poistamiseen; sekä ml-log-anomaly-cluster-manager-exporter tulosten viemiseen valvontajärjestelmiin, kuten Grafanaan ja OpenSearchiin. Palvelut kommunikoivat jaettujen tietovarastojen kautta: Qdrant tallentaa lokivektorit (768-ulotteiset BGEM3-upotukset) ja klusterien metatiedot (sentroidit, rajat, Bayes-parametrit, MST-mittarit, liput), kun taas PostgreSQL hallinnoi konfiguraatiota, prosessitilaa ja historiallista dataa. Datavirta sisältää lokien hakemisen OpenSearchistä, normalisoinnin, deduplikoinnin, vektoroinnin LLM:n (BGEM3) avulla, ulottuvuuksien vähentämisen adaptiivisella PCA:lla ja sitten klusteroinnin kosinietäisyyden avulla lähimmän klusterin löytämiseksi; jos etäisyys ylittää adaptiivisen rajan, piste merkitään poikkeamaksi ja tallennetaan yöprosessointia varten. HDBSCANia käytetään uusien klusterien rakentamiseen poikkeamista yöllisten uudelleenrakennusten aikana. Järjestelmän matematiikka on integroitu klusterin oliomalliin, mikä tekee jokaisesta klusterista itsesäätyvän agentin, jolla on sisäinen tila, tilastot, nimi ja käyttäytyminen, mikä mahdollistaa dynaamisen rajan säätämisen, Bayes-kynnyksen mukauttamisen, sentroidin nopeuden ja kiihtyvyyden seurannan, MST-pohjaisen tiheyden estimoinnin ja inkrementaaliset aggregaattipäivitykset. Artikkeli käsittelee myös perustavanlaatuisia lineaarialgebran käsitteitä: vektorit, vektorioperaatiot, skalaaritulo ja euklidinen normi, jotka ovat välttämättömiä klusterointimenetelmien ymmärtämiseksi.