Von kaputtem Business-Intelligence-Reporting zu KI-gestützten HTML-Berichten: Wie Dzen große Sprachmodelle in die A/B-Test-Analyse integriert hat
Yandex DataLens
Das technische Analyseteam von Dzen hat ein eigenes HTML-Berichtssystem mit integriertem großem Sprachmodell entwickelt, um A/B-Testergebnisse zu analysieren, wobei der Fokus auf den Auswirkungen auf Autoren, Publikationen, Finanzen und das Empfehlungssystem liegt. Das System behebt die Schwächen traditioneller Business-Intelligence-Tools und liefert automatische, einheitliche Erkenntnisse.
Das Team von Dzen unter der Leitung von Mikhail Ryazansky und Mark Khabarov hat ein Tool zur A/B-Test-Analyse entwickelt, das eine Integration großer Sprachmodelle (LLM) umfasst. Zunächst versuchten sie, ein Business-Intelligence-System (BI-System, DataLens) einzusetzen, das jedoch mit der Datenmenge nicht zurechtkam. Sie erstellten leichte HTML-Berichte, die über einen Messenger-Bot zugänglich sind. Die Berichte enthalten: Analysen auf Autorenebene, Top-Autoren mit von LLM generierten Erkenntnissen, finanzielle Auswirkungen auf Autoren sowie Auswirkungen auf das Empfehlungssystem. In einer zweiten Iteration fügten sie Analysen auf Publikationsebene und eine abschließende LLM-Zusammenfassungsseite hinzu, die das Experiment anhand strategischer Ziele bewertet. Die Architektur nutzt Benutzerprotokolle, Experimentverzeichnisse, aggregierte Daten und ein internes LLM zur Generierung der Berichte. Sie betonen, wie wichtig es ist, die Auswirkungen von A/B-Tests auf das gesamte Ökosystem zu verstehen, über einfache Verbesserungen der Kennzahlen hinaus.
Quelle: Habr — хаб ML —
Original