Likaisista viitteistä kultaisiin tietueisiin: Miten tekoäly ja koneoppiminen pelastavat MDM:n kaaokselta
Masterdatan hallinnan (MDM) viitteiden manuaalinen puhdistus on tehotonta; ainoa kestävä tie on tekoälyyn ja koneoppimiseen perustuva automaatio. Hybridimallit, joissa yhdistyvät luokittelu, semanttinen haku ja älykäs attribuuttien erottelu, mahdollistavat nopeamman ja tarkemman attribuuttien normalisoinnin, muuttaen datan kaaoksen yhtenäisiksi kultaisiksi tietueiksi.
Artikkelissa tarkastellaan NSI:n heikkenemisen syitä: rinnakkaiset tietojärjestelmät, erilaiset tietojen syöttötavat, inhimillinen tekijä, puutteellisuus ja vanhentuneet standardit. Yksinkertaiset merkkijonojen vertailualgoritmit (Damerau–Levenshtein-etäisyys, Jaro–Winkler) saavuttavat hyväksyttävän laadun vain 30–40 prosentissa tapauksista, koska ne eivät huomioi semantiikkaa, morfologiaa tai kontekstia, mikä voi johtaa perustavanlaatuisesti erilaisten kohteiden virheelliseen yhdistämiseen. Ainoa luotettava tapa on attribuuttien normalisointi, joka koostuu viidestä vaiheesta: auditointi ja analyysi, jäsentäminen ja rikastaminen, puhdistus viitetietojen luomisen kanssa, julkaisu ja integrointi sekä ylläpito ja parantaminen. Esimerkkinä käytetään SOFROS AI/ML -palvelua, joka osoittaa, miten koneoppiminen ja suuret kielimallit (Large Language Models, LLM) automatisoivat luokittelun, attribuuttien erottamisen ja normalisoinnin, parantaen tietojen laatua ja täydellisyyttä.
Lähde: Habr — хаб ИИ —
Alkuperäinen