Des références douteuses aux enregistrements en or : comment l'IA/ML sauve le MDM du chaos
Le nettoyage manuel des références de gestion des données de base (MDM) est inefficace ; la seule voie durable est l'automatisation basée sur l'IA/ML. Des modèles hybrides combinant classification, recherche sémantique et extraction intelligente d'attributs permettent une normalisation plus rapide et plus précise des attributs, transformant le chaos des données en enregistrements unifiés en or.
L'article explore les causes de la dégradation des NSI : systèmes d'information parallèles, différentes approches de saisie des données, facteur humain, incomplétude et normes obsolètes. Les algorithmes simples de comparaison de chaînes (distance de Damerau-Levenshtein, Jaro-Winkler) n'atteignent une qualité acceptable que dans 30 à 40 % des cas, car ils ne tiennent pas compte de la sémantique, de la morphologie ou du contexte, ce qui peut entraîner des fusions erronées d'objets fondamentalement différents. La seule voie fiable est la normalisation des attributs, qui comprend cinq phases : audit et analyse, structuration et enrichissement, nettoyage avec création de références, publication et intégration, et maintenance et amélioration. En prenant l'exemple du service d'IA/ML SOFROS, on montre comment l'apprentissage automatique et les grands modèles de langage (LLMs, pour Large Language Models) automatisent la classification, l'extraction d'attributs et la normalisation, améliorant ainsi la qualité et l'exhaustivité des données.
Source: Habr — хаб ИИ —
original