De Referências Desorganizadas a Registros Áureos: Como IA/ML Salva o MDM do Caos
A limpeza manual de referências de gerenciamento de dados mestre (MDM) é ineficiente; o único caminho sustentável é a automação baseada em IA/ML. Modelos híbridos que combinam classificação, busca semântica e extração inteligente de atributos permitem a normalização de atributos mais rápida e precisa, transformando o caos dos dados em registros áureos unificados.
O artigo explora as causas da degradação do NSI: sistemas de informação paralelos, abordagens distintas de entrada de dados, o fator humano, incompletude e padrões desatualizados. Algoritmos simples de comparação de strings (distância de Damerau-Levenshtein, Jaro-Winkler) alcançam qualidade aceitável em apenas 30–40% dos casos, pois não levam em conta semântica, morfologia ou contexto, podendo levar a fusões falsas de objetos fundamentalmente diferentes. O único caminho confiável é a normalização de atributos, que consiste em cinco fases: auditoria e análise, estruturação e enriquecimento, limpeza com criação de referência, publicação e integração, e manutenção e melhoria. Usando o serviço SOFROS AI/ML como exemplo, mostra como aprendizado de máquina e grandes modelos de linguagem (large language models, LLMs) automatizam classificação, extração de atributos e normalização, melhorando a qualidade e a completude dos dados.
Fonte: Habr — хаб ИИ —
original