De BI Quebrado a Relatórios HTML com IA: Como a Dzen Integrou LLMs na Análise de Testes A/B
Yandex DataLens
A equipe de análise técnica da Dzen desenvolveu um sistema personalizado de relatórios HTML com um LLM integrado para analisar resultados de testes A/B, focando no impacto sobre autores, publicações, finanças e o sistema de recomendação. O sistema resolve as limitações das ferramentas tradicionais de BI e entrega insights automáticos e unificados.
A equipe da Dzen, liderada por Mikhail Ryazansky e Mark Khabarov, criou uma ferramenta para análise de testes A/B que inclui integração com LLM. Inicialmente, eles tentaram usar um sistema de BI (DataLens), mas ele não conseguiu lidar com o volume de dados. Eles construíram relatórios HTML leves, acessíveis por meio de um bot de mensageiro. Os relatórios incluem: análises em nível de autor, principais autores com insights gerados por LLM, impacto financeiro nos autores e impacto no sistema de recomendação. Em uma segunda iteração, adicionaram análises em nível de publicação e uma página final de resumo gerada por LLM, que avalia o experimento em relação aos objetivos estratégicos. A arquitetura usa logs de usuários, dicionários de experimentos, dados agregados e um LLM interno para gerar relatórios. Eles enfatizam a importância de entender o impacto completo do ecossistema dos testes A/B, além de meras melhorias em métricas simples.
Fonte: Habr — хаб ML —
original