从混乱引用到黄金记录：AI/ML如何拯救MDM于混沌
手动清理主数据管理（MDM）引用效率低下，唯一可持续的路径是基于人工智能/机器学习（AI/ML）的自动化。结合分类、语义搜索和智能属性提取的混合模型能够更快、更准确地进行属性归一化，将数据混乱转化为统一的黄金记录。
本文探讨了NSI（名称服务基础设施）退化的原因：并行信息系统、不同的数据录入方式、人为因素、数据不完整及过时标准。简单的字符串比较算法（如Damerau-Levenshtein距离、Jaro-Winkler算法）仅在30%到40%的情况下能达到可接受的质量，因为它们不考虑语义、形态或上下文，可能导致不同实体的错误合并。唯一可靠的方法是属性标准化，它包含五个阶段：审计与分析、结构化与丰富化、清洗与参考创建、发布与集成、以及维护与改进。以SOFROS AI/ML服务为例，展示了机器学习和大型语言模型（LLM）如何自动化分类、属性提取和标准化，从而提高数据质量和完整性。
来源: Habr — хаб ИИ —
原文