半年で15,000テーブルのドキュメントを手書きではなく達成——年間500から飛躍した方法

Yandexは大規模なデータドキュメンテーションの課題に直面していました。4万件のフィルタリング済みテーブルのうち、1年間で手動による説明が付与されたのはわずか500件でした。テクニカルマネージャーのRoman Gridnev氏は、LLM（大規模言語モデル）と内部データソース（データパス、スキーマ、サンプルデータ、Wiki用語集、Memgraphからのグラフ近傍、フォルダ近傍）を利用して説明文のドラフトを生成するPythonロボットを構築しました。このロボットはまず客観的なデータを収集し、それをLLMに送信してタイトルと説明文を生成することで、空白ページを回避します。説明文はData Catalogに読み込まれ、そこで人間がレビューできます。6か月間で1万5千件のテーブルに説明文が付与され、アナリストの時間にして約5年分が節約されました。品質はアンケートと意味比較によって測定され（意味一致率92%、71%のフィールドが修正なしで承認されました）。今後の計画には、定期データ配信への接続とカラム単位の説明文伝播が含まれています。