टूटे BI से AI-संचालित HTML रिपोर्ट तक: Dzen ने A/B परीक्षण विश्लेषण में LLM को कैसे एकीकृत किया

Dzen की टीम, जिसका नेतृत्व Mikhail Ryazansky और Mark Khabarov कर रहे हैं, ने A/B परीक्षण विश्लेषण के लिए एक उपकरण बनाया है जिसमें LLM एकीकरण शामिल है। शुरुआत में, उन्होंने एक BI सिस्टम (DataLens) का उपयोग करने की कोशिश की, लेकिन यह डेटा की मात्रा को संभालने में विफल रहा। उन्होंने हल्के HTML रिपोर्ट बनाए जो एक मैसेंजर बॉट के माध्यम से सुलभ हैं। रिपोर्ट में शामिल हैं: लेखक-स्तरीय विश्लेषण, LLM-जनित अंतर्दृष्टि के साथ शीर्ष लेखक, लेखकों पर वित्तीय प्रभाव, और अनुशंसा प्रणाली पर प्रभाव। दूसरे पुनरावृत्ति में, उन्होंने प्रकाशन-स्तरीय विश्लेषण और एक अंतिम LLM सारांश पृष्ठ जोड़ा जो रणनीतिक लक्ष्यों के विरुद्ध प्रयोग का मूल्यांकन करता है। वास्तुकला उपयोगकर्ता लॉग, प्रयोग शब्दकोश, एकत्रित डेटा, और रिपोर्ट उत्पन्न करने के लिए एक आंतरिक LLM का उपयोग करती है। वे सरल मीट्रिक सुधारों से परे A/B परीक्षणों के पूरे पारिस्थितिकी तंत्र प्रभाव को समझने के महत्व पर जोर देते हैं।