Dari BI yang Rusak ke Laporan HTML Bertenaga AI: Bagaimana Dzen Mengintegrasikan LLM ke dalam Analisis Uji A/B
Yandex DataLens
Tim analitik teknis di Dzen mengembangkan sistem laporan HTML khusus dengan LLM terintegrasi untuk menganalisis hasil uji A/B, dengan fokus pada dampaknya terhadap penulis, publikasi, keuangan, dan sistem rekomendasi. Sistem ini mengatasi kekurangan alat BI tradisional dan memberikan wawasan otomatis serta terpadu.
Tim Dzen yang dipimpin oleh Mikhail Ryazansky dan Mark Khabarov membuat alat untuk analisis uji A/B yang mencakup integrasi LLM. Awalnya, mereka mencoba menggunakan sistem BI (DataLens) tetapi gagal menangani volume data. Mereka membangun laporan HTML ringan yang dapat diakses melalui bot messenger. Laporan tersebut mencakup: analitik tingkat penulis, penulis teratas dengan wawasan yang dihasilkan LLM, dampak finansial pada penulis, dan dampak pada sistem rekomendasi. Pada iterasi kedua, mereka menambahkan analitik tingkat publikasi dan halaman ringkasan LLM akhir yang mengevaluasi eksperimen terhadap tujuan strategis. Arsitekturnya menggunakan log pengguna, kamus eksperimen, data agregat, dan LLM internal untuk menghasilkan laporan. Mereka menekankan pentingnya memahami dampak ekosistem penuh dari uji A/B di luar peningkatan metrik sederhana.
Sumber: Habr — хаб ML —
asli