От «грязных» справочников к золотым записям: как AI/ML спасает НСИ от хаоса
Ручная чистка нормативно-справочной информации (НСИ) неэффективна; единственный устойчивый путь — автоматизация на основе AI/ML. Гибридные модели, сочетающие классификацию, семантический поиск и интеллектуальную экстракцию характеристик, позволяют быстрее и точнее проводить атрибутивную нормализацию, превращая хаос данных в единые «золотые записи».
Статья исследует причины деградации НСИ: параллельные информационные системы, различные подходы к вводу данных, человеческий фактор, неполнота и устаревшие стандарты. Простые алгоритмы сравнения строк (расстояние Дамерау-Левенштейна, Джаро-Винклера) достигают приемлемого качества лишь в 30–40% случаев, так как не учитывают семантику, морфологию или контекст, что может привести к ложному слиянию
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал