De la BI défaillante aux rapports HTML propulsés par l'IA : comment Dzen a intégré des LLM dans l'analyse des tests A/B
Yandex DataLens
L'équipe d'analytique technique de Dzen a développé un système de rapports HTML personnalisé avec un LLM intégré pour analyser les résultats des tests A/B, en se concentrant sur l'impact sur les auteurs, les publications, les finances et le système de recommandation. Le système comble les lacunes des outils BI traditionnels et fournit des informations unifiées et automatiques.
L'équipe de Dzen, dirigée par Mikhail Ryazansky et Mark Khabarov, a créé un outil d'analyse de tests A/B intégrant le LLM. Au départ, ils ont essayé d'utiliser un système BI (DataLens) mais celui-ci n'a pas réussi à gérer le volume de données. Ils ont donc construit des rapports HTML légers accessibles via un bot de messagerie. Ces rapports comprennent : des analyses par auteur, les meilleurs auteurs avec des insights générés par LLM, l'impact financier sur les auteurs et l'impact sur le système de recommandation. Dans une deuxième itération, ils ont ajouté des analyses au niveau des publications et une page de synthèse finale générée par LLM qui évalue l'expérience par rapport aux objectifs stratégiques. L'architecture utilise des journaux d'utilisateurs, des dictionnaires d'expériences, des données agrégées et un LLM interne pour générer les rapports. Ils soulignent l'importance de comprendre l'impact global de l'écosystème des tests A/B au-delà de simples améliorations métriques.
Source: Habr — хаб ML —
original