Как мы описали 15 000 таблиц за полгода вместо 500 в год — и перестали писать документацию вручную
Яндекс автоматизировал документирование таблиц с помощью робота на основе большой языковой модели (LLM), который собирает метаданные из различных источников и генерирует черновики описаний. За полгода было описано 15 000 таблиц вместо 500 в год при ручной работе, что сэкономило около пяти лет работы аналитиков.
Яндекс столкнулся с масштабной задачей документирования данных: из 40 тысяч отфильтрованных таблиц за год только 500 получили ручные описания. Роман Гриднев, технический менеджер, создал Python-робота, который использует большие языковые модели (LLM, Large Language Models) и внутренние источники данных (пути данных, схемы, образцы данных, глоссарии Wiki, графовые соседи из Memgraph, соседи по
Показать ещё ↓
Источник: Habr — хаб ИИ —
оригинал