Von schmutzigen Referenzen zu goldenen Datensätzen: Wie KI/ML MDM vor dem Chaos rettet
Manuelle Bereinigung von Stammdatenmanagement-Referenzen (MDM) ist ineffizient; der einzig nachhaltige Weg ist die Automatisierung auf Basis von Künstlicher Intelligenz und Maschinellem Lernen (KI/ML). Hybride Modelle, die Klassifikation, semantische Suche und intelligente Attributextraktion kombinieren, ermöglichen eine schnellere und genauere Attributnormalisierung und verwandeln Datenchaos in einheitliche goldene Datensätze.
Der Artikel untersucht die Ursachen der NSI-Verschlechterung: parallele Informationssysteme, unterschiedliche Dateneingabeansätze, der menschliche Faktor, Unvollständigkeit und veraltete Standards. Einfache Zeichenfolgenvergleichsalgorithmen (Damerau-Levenshtein-Distanz, Jaro-Winkler) erreichen in nur 30–40 % der Fälle eine akzeptable Qualität, da sie Semantik, Morphologie oder Kontext nicht berücksichtigen, was zu falschen Zusammenführungen grundlegend unterschiedlicher Objekte führen kann. Der einzig zuverlässige Weg ist die Attributnormalisierung, die aus fünf Phasen besteht: Audit und Analyse, Strukturierung und Anreicherung, Bereinigung mit Referenzerstellung, Veröffentlichung und Integration sowie Wartung und Verbesserung. Am Beispiel des KI/ML-Dienstes SOFROS wird gezeigt, wie maschinelles Lernen und große Sprachmodelle (Large Language Models, LLMs) die Klassifizierung, Attributextraktion und Normalisierung automatisieren und so die Datenqualität und -vollständigkeit verbessern.
Quelle: Habr — хаб ИИ —
Original