Dari Referensi Kotor ke Rekaman Emas: Bagaimana AI/ML Menyelamatkan MDM dari Kekacauan
Pembersihan referensi manajemen data master (MDM) secara manual tidak efisien; satu-satunya jalur berkelanjutan adalah otomatisasi berbasis AI/ML. Model hibrida yang menggabungkan klasifikasi, pencarian semantik, dan ekstraksi atribut cerdas memungkinkan normalisasi atribut yang lebih cepat dan akurat, mengubah kekacauan data menjadi rekaman emas yang terpadu.
Artikel ini mengeksplorasi penyebab degradasi NSI: sistem informasi yang paralel, pendekatan entri data yang berbeda, faktor manusia, ketidaklengkapan, dan standar yang usang. Algoritma pencocokan string sederhana (jarak Damerau-Levenshtein, Jaro-Winkler) mencapai kualitas yang dapat diterima hanya pada 30–40% kasus, karena tidak memperhitungkan semantik, morfologi, atau konteks, sehingga berpotensi menyebabkan penggabungan yang salah dari objek yang pada dasarnya berbeda. Satu-satunya jalur yang dapat diandalkan adalah normalisasi atribut, yang terdiri dari lima fase: audit dan analisis, penataan dan pengayaan, pembersihan dengan pembuatan referensi, publikasi dan integrasi, serta pemeliharaan dan peningkatan. Dengan menggunakan layanan Kecerdasan Buatan atau Kecerdasan Artifisial (AI) dan Pembelajaran Mesin (Machine Learning/ML) SOFROS sebagai contoh, ditunjukkan bagaimana pembelajaran mesin dan model bahasa besar (Large Language Models/LLMs) mengotomatiskan klasifikasi, ekstraksi atribut, dan normalisasi, sehingga meningkatkan kualitas dan kelengkapan data.
Sumber: Habr — хаб ИИ —
asli