رياضيات التجميع: فهم التجميع الذكي للبيانات مع نظام كشف الشذوذ في السجلات لدينا. الجزء 1

أندريه باسوف، رئيس فريق الدعم الفني لخط المنتجات والخدمات المؤسسية في MWS، يصف نظامًا جديدًا لتحليل صحة المنتجات طوّره هو وزملاؤه بعد إعادة صياغة نهجهم السابق في كشف الشذوذ في السجلات. النظام عبارة عن بنية خدمية دقيقة بتصميم معالجة قائم على الأحداث وتزايدي، ويتكون من مكونات مثل ml-log-anomaly-cluster-manager-detector لاستقبال السجلات، وتحويلها إلى متجهات، وتجميعها، وتحديث حالة المجموعات؛ وml-log-anomaly-cluster-manager-retrain لإعادة بناء المجموعات بشكل دوري؛ وml-log-anomaly-cluster-manager-cleaner لأرشفة البيانات القديمة وحذفها؛ وml-log-anomaly-cluster-manager-exporter لتصدير النتائج إلى أنظمة المراقبة مثل Grafana وOpenSearch. تتواصل الخدمات من خلال مخازن بيانات مشتركة: يخزن Qdrant متجهات السجلات (تضمينات BGEM3 بأبعاد 768) وبيانات وصفية للمجموعات (مراكز الثقل، الحدود، معاملات بايز، مقاييس شجرة الامتداد الأدنى، علامات)، بينما يدير PostgreSQL التهيئة وحالة المعالجة والبيانات التاريخية. يتضمن تدفق البيانات استرجاع السجلات من OpenSearch، وتطبيعها، وإزالة التكرار، وتحويلها إلى متجهات عبر نموذج اللغة الكبير (BGEM3)، ثم تقليل الأبعاد باستخدام تحليل المكونات الرئيسية التكيفي، ثم التجميع باستخدام مسافة جيب التمام للعثور على أقرب مجموعة؛ إذا تجاوزت المسافة الحد التكيفي، يتم تمييز النقطة كشذوذ وتخزينها للمعالجة الليلية. يُستخدم HDBSCAN لبناء مجموعات جديدة من الحالات الشاذة أثناء عمليات إعادة البناء الليلية. تم دمج الرياضيات الخاصة بالنظام في نموذج كائن المجموعة، مما يجعل كل مجموعة وكيلًا ذاتي الضبط مع حالة داخلية وإحصاءات واسم وسلوك، مما يتيح ضبطًا ديناميكيًا للحدود، وتكيفًا مع عتبات بايز، ومراقبة سرعة وتسارع مركز الثقل، وتقديرًا للكثافة بناءً على شجرة الامتداد الأدنى، وتحديثات تراكمية تدريجية. كما يغطي المقال مفاهيم أساسية في الجبر الخطي: المتجهات، وعمليات المتجهات، والجداء القياسي، والمعيار الإقليدي، وهي ضرورية لفهم طرق التجميع.