De BI roto a informes HTML impulsados por IA: cómo Dzen integró LLMs en el análisis de pruebas A/B
Yandex DataLens
El equipo de analítica técnica de Dzen desarrolló un sistema de informes HTML personalizado con un LLM integrado para analizar resultados de pruebas A/B, centrándose en el impacto en autores, publicaciones, finanzas y el sistema de recomendación. El sistema resuelve las deficiencias de las herramientas BI tradicionales y ofrece información automática y unificada.
El equipo de Dzen, liderado por Mikhail Ryazansky y Mark Khabarov, creó una herramienta para el análisis de pruebas A/B que incluye integración con LLM. Inicialmente, intentaron utilizar un sistema de BI (DataLens), pero no logró manejar el volumen de datos. Construyeron informes HTML ligeros accesibles a través de un bot de mensajería. Los informes incluyen: análisis a nivel de autor, principales autores con información generada por LLM, impacto financiero en los autores e impacto en el sistema de recomendación. En una segunda iteración, añadieron análisis a nivel de publicación y una página final de resumen con LLM que evalúa el experimento en relación con los objetivos estratégicos. La arquitectura utiliza registros de usuarios, diccionarios de experimentos, datos agregados y un LLM interno para generar informes. Destacan la importancia de comprender el impacto completo en el ecosistema de las pruebas A/B, más allá de las simples mejoras métricas.
Fuente: Habr — хаб ML —
original