6개월 만에 15,000개 테이블을 설명한 방법: 연간 500개 대신, 수동 문서화 중단

Yandex는 방대한 데이터 문서화 과제에 직면했습니다: 필터링된 40,000개의 테이블 중 1년 동안 수동으로 설명이 작성된 것은 500개에 불과했습니다. 기술 관리자인 Roman Gridnev는 LLM과 내부 데이터 소스(데이터 경로, 스키마, 샘플 데이터, Wiki 용어집, Memgraph의 그래프 이웃, 폴더 이웃)를 활용하여 초안 설명을 생성하는 Python 로봇을 구축했습니다. 이 로봇은 먼저 객관적인 데이터를 수집한 후 LLM에 전송하여 제목과 설명을 생성함으로써 빈 페이지를 방지합니다. 생성된 설명은 Data Catalog에 업로드되어 사람이 검토할 수 있습니다. 6개월 만에 15,000개의 테이블이 설명되었으며, 이는 약 5년 분량의 분석가 시간을 절약한 셈입니다. 품질은 설문 조사와 의미론적 비교(92% 의미 일치, 71% 필드가 수정 없이 승인됨)를 통해 측정되었습니다. 향후 계획으로는 정기적인 데이터 전달과의 연결 및 열별 설명 전파가 포함됩니다.