Từ tham chiếu bẩn đến bản ghi vàng: AI/ML giải cứu MDM khỏi hỗn loạn
Việc làm sạch thủ công các tham chiếu trong quản lý dữ liệu chủ (MDM) không hiệu quả; con đường bền vững duy nhất là tự động hóa dựa trên AI/ML. Các mô hình kết hợp giữa phân loại, tìm kiếm ngữ nghĩa và trích xuất thuộc tính thông minh cho phép chuẩn hóa thuộc tính nhanh hơn và chính xác hơn, biến sự hỗn loạn dữ liệu thành các bản ghi vàng thống nhất.
Bài viết khám phá các nguyên nhân gây suy giảm NSI: hệ thống thông tin song song, các phương pháp nhập dữ liệu khác nhau, yếu tố con người, sự không đầy đủ và các tiêu chuẩn lỗi thời. Các thuật toán so khớp chuỗi đơn giản (khoảng cách Damerau-Levenshtein, Jaro-Winkler) chỉ đạt chất lượng chấp nhận được trong 30–40% trường hợp, vì chúng không xem xét ngữ nghĩa, hình thái học hoặc ngữ cảnh, có thể dẫn đến việc hợp nhất sai các đối tượng về cơ bản khác nhau. Con đường đáng tin cậy duy nhất là chuẩn hóa thuộc tính, bao gồm năm giai đoạn: kiểm toán và phân tích, cấu trúc hóa và làm giàu, làm sạch với việc tạo tham chiếu, công bố và tích hợp, và bảo trì và cải tiến. Sử dụng dịch vụ AI/ML SOFROS làm ví dụ, nó cho thấy cách học máy và mô hình ngôn ngữ lớn (Large Language Models - LLMs) tự động hóa việc phân loại, trích xuất thuộc tính và chuẩn hóa, cải thiện chất lượng và độ đầy đủ của dữ liệu.
Nguồn: Habr — хаб ИИ —
bản gốc