从残缺的商业智能到AI驱动的HTML报告：Dzen如何将大语言模型集成到A/B测试分析中

由Mikhail Ryazansky和Mark Khabarov领导的Dzen团队创建了一个A/B测试分析工具，该工具集成了LLM（大型语言模型）。最初，他们尝试使用BI系统（DataLens），但它无法处理数据量。他们构建了可通过即时通讯机器人访问的轻量级HTML报告。报告包括：作者级别分析、带有LLM生成洞察的顶级作者、对作者的财务影响以及对推荐系统的影响。在第二次迭代中，他们增加了出版物级别分析和最终的LLM摘要页面，该页面根据战略目标评估实验。该架构使用用户日志、实验字典、聚合数据和内部LLM来生成报告。他们强调理解A/B测试对整个生态系统的影响，而不仅仅是简单的指标改进，这一点非常重要。