Kırık BI'dan Yapay Zeka Destekli HTML Raporlarına: Dzen, A/B Test Analizine LLM'leri Nasıl Entegre Etti?
Yandex DataLens
Dzen'deki teknik analiz ekibi, A/B test sonuçlarını analiz etmek için entegre bir LLM içeren özel bir HTML rapor sistemi geliştirdi; bu sistem yazarlar, yayınlar, finans ve öneri sistemi üzerindeki etkiye odaklanıyor. Sistem, geleneksel BI araçlarının eksikliklerini çözüyor ve otomatik, birleşik içgörüler sunuyor.
Dzen'de Mikhail Ryazansky ve Mark Khabarov liderliğindeki ekip, LLM entegrasyonunu içeren bir A/B test analiz aracı oluşturdu. Başlangıçta bir BI sistemi (DataLens) kullanmayı denediler ancak bu sistem veri hacmini kaldıramadı. Messenger botu üzerinden erişilebilen hafif HTML raporlar oluşturdular. Raporlar şunları içeriyor: yazar bazlı analizler, LLM tarafından üretilen içgörülerle en iyi yazarlar, yazarlar üzerindeki finansal etki ve öneri sistemi üzerindeki etki. İkinci iterasyonda, yayın bazlı analizler ve deneyi stratejik hedeflere göre değerlendiren son bir LLM özet sayfası eklediler. Mimari, kullanıcı günlükleri, deney sözlükleri, toplanmış veriler ve raporlar oluşturmak için dahili bir LLM kullanıyor. Basit metrik iyileştirmelerinin ötesinde A/B testlerinin tüm ekosistem etkisini anlamanın önemini vurguluyorlar.
Kaynak: Habr — хаб ML —
orijinal