Математика кластеризации: понимание умной кластеризации данных с помощью нашей системы обнаружения аномалий в журналах. Часть 1
Андрей Басов, руководитель технической поддержки MWS, описывает архитектуру новой системы анализа работоспособности продукта, которая обнаруживает аномалии в журналах. Система использует векторизацию на основе больших языковых моделей, снижение размерности методом главных компонент и динамическую кластеризацию с байесовской адаптацией и метриками минимального остовного дерева. Это первая часть серии, объясняющей лежащую в основе математику и методы.
Андрей Басов, руководитель группы технической поддержки направления корпоративных продуктов и сервисов в MWS, рассказывает о новой системе анализа состояния продуктов, которую он и его коллеги разработали после переработки предыдущего подхода к обнаружению аномалий в логах. Система представляет собой микросервисную архитектуру с событийно-ориентированной и инкрементальной обработкой данных,
Показать ещё ↓
Источник: Хабр — Data Mining —
оригинал