Altı Ayda 500 Tablo Yerine 15.000 Tabloyu Nasıl Tanımladık – ve Artık Belgelendirmeyi Elle Yazmıyoruz

Yandex devasa bir veri dokümantasyonu sorunuyla karşı karşıyaydı: 40.000 filtrelenmiş tablodan sadece 500'üne bir yılda manuel açıklama yapıldı. Teknik yönetici Roman Gridnev, LLM'leri ve dahili veri kaynaklarını (veri yolları, şemalar, örnek veriler, Wiki sözlükleri, Memgraph'tan grafik komşuları, klasör komşuları) kullanan bir Python robotu oluşturarak taslak açıklamalar üretti. Robot önce objektif verileri toplar, ardından bunu bir LLM'ye göndererek bir başlık ve açıklama oluşturur, böylece boş bir sayfadan kaçınılır. Açıklamalar, insanların inceleyebileceği Veri Kataloğu'na yüklenir. Altı ayda 15.000 tablo tanımlandı ve yaklaşık beş yıllık analist zamanı kurtarıldı. Kalite, anketler ve anlamsal karşılaştırma (%92 anlamsal eşleşme, alanların %71'i değişiklik yapılmadan kabul edildi) ile ölçüldü. Gelecek planları arasında düzenli veri teslimatlarına bağlanma ve sütun bazında açıklama yayılımı yer alıyor.