कैसे हमने छह महीनों में 15,000 टेबलों का वर्णन किया, बजाय एक साल में 500 के – और हाथ से दस्तावेज़ीकरण लिखना बंद कर दिया

यांडेक्स को डेटा दस्तावेज़ीकरण की एक बड़ी चुनौती का सामना करना पड़ा: 40,000 फ़िल्टर की गई तालिकाओं में से, एक वर्ष में केवल 500 को मैन्युअल विवरण मिले। रोमन ग्रिडनेव, एक तकनीकी प्रबंधक, ने एक पायथन रोबोट बनाया जो एलएलएम और आंतरिक डेटा स्रोतों (डेटा पथ, स्कीमा, नमूना डेटा, विकी शब्दावली, मेमग्राफ से ग्राफ़ पड़ोसी, फ़ोल्डर पड़ोसी) का उपयोग करके ड्राफ्ट विवरण तैयार करता है। रोबोट पहले वस्तुनिष्ठ डेटा एकत्र करता है, फिर उसे शीर्षक और विवरण उत्पन्न करने के लिए एलएलएम को भेजता है, जिससे खाली पृष्ठ से बचा जा सके। विवरण डेटा कैटलॉग में लोड किए जाते हैं, जहाँ मनुष्य उनकी समीक्षा कर सकते हैं। छह महीनों में, 15,000 तालिकाओं का वर्णन किया गया, जिससे विश्लेषकों का लगभग पाँच वर्षों का समय बचा। गुणवत्ता को सर्वेक्षणों और सिमेंटिक तुलना द्वारा मापा गया (92% सिमेंटिक मिलान, 71% फ़ील्ड को बिना बदलाव के स्वीकार किया गया)। भविष्य की योजनाओं में नियमित डेटा डिलीवरी से जुड़ना और प्रति-कॉलम विवरण प्रसार शामिल है।