Kirli Referanslardan Altın Kayıtlara: YZ/MM Ana Veri Yönetimini Kaostan Nasıl Kurtarıyor
Ana veri yönetimindeki (MDM) referansların manuel temizliği verimsizdir; sürdürülebilir tek yol yapay zeka ve makine öğrenimi tabanlı otomasyondur. Sınıflandırma, anlamsal arama ve akıllı nitelik çıkarımını birleştiren hibrit modeller, daha hızlı ve daha doğru nitelik normalizasyonu sağlayarak veri kaosunu birleşik altın kayıtlara dönüştürür.
Makale, NSI bozulmasının nedenlerini araştırıyor: paralel bilgi sistemleri, farklı veri giriş yaklaşımları, insan faktörü, eksiklik ve güncel olmayan standartlar. Basit dize karşılaştırma algoritmaları (Damerau-Levenshtein mesafesi, Jaro-Winkler), anlambilim, morfoloji veya bağlamı hesaba katmadıkları ve temelde farklı nesnelerin hatalı birleşmelerine yol açabilecekleri için vakaların yalnızca %30-40'ında kabul edilebilir kaliteye ulaşır. Güvenilir tek yol, beş aşamadan oluşan nitelik normalleştirmedir: denetim ve analiz, yapılandırma ve zenginleştirme, referans oluşturma ile temizleme, yayınlama ve entegrasyon, bakım ve iyileştirme. SOFROS yapay zeka/makine öğrenimi hizmeti örneği kullanılarak, makine öğreniminin ve büyük dil modellerinin sınıflandırmayı, nitelik çıkarmayı ve normalleştirmeyi nasıl otomatikleştirdiği, veri kalitesini ve eksiksizliğini nasıl iyileştirdiği gösterilmektedir.
Kaynak: Habr — хаб ИИ —
orijinal