Van gebrekkige BI naar AI-aangedreven HTML-rapporten: hoe Dzen LLM's integreerde in A/B-testanalyse

Het team van Dzen, onder leiding van Mikhail Ryazansky en Mark Khabarov, heeft een tool ontwikkeld voor het analyseren van A/B-tests, inclusief integratie van LLM (Large Language Models). Aanvankelijk probeerden ze een BI-systeem (DataLens) te gebruiken, maar dat kon de datavolumes niet aan. Ze bouwden lichtgewicht HTML-rapporten die toegankelijk zijn via een messenger-bot. De rapporten bevatten: analyses op auteurniveau, topauteurs met door LLM gegenereerde inzichten, financiële impact op auteurs en impact op het aanbevelingssysteem. In een tweede iteratie voegden ze analyses op publicatieniveau toe en een laatste LLM-samenvattingspagina die het experiment evalueert aan de hand van strategische doelen. De architectuur maakt gebruik van gebruikerslogs, experimentwoordenboeken, samengevoegde gegevens en een interne LLM om rapporten te genereren. Ze benadrukken het belang van het begrijpen van de volledige ecosysteemimpact van A/B-tests, verder dan eenvoudige verbeteringen van statistieken.