Rikkoutuneesta BI:stä tekoälypohjaisiin HTML-raportteihin: Näin Dzen integroi suuret kielimallit A/B-testianalyysiin
Yandex DataLens
Dzenin tekninen analytiikkatiimi kehitti mukautetun HTML-raporttijärjestelmän, johon on integroitu suuri kielimalli (LLM) A/B-testitulosten analysointia varten, keskittyen vaikutuksiin kirjoittajiin, julkaisuihin, talouteen ja suositusjärjestelmään. Järjestelmä ratkaisee perinteisten BI-työkalujen puutteet ja tuottaa automaattisia, yhtenäisiä oivalluksia.
Dzenin tiimi, jota johtavat Mikhail Ryazansky ja Mark Khabarov, loi työkalun A/B-testien analysointiin, joka sisältää LLM-integraation. Aluksi he yrittivät käyttää BI-järjestelmää (DataLens), mutta se ei pystynyt käsittelemään datan määrää. He rakensivat kevyitä HTML-raportteja, jotka ovat saatavilla messenger-botin kautta. Raportit sisältävät: kirjoittajatason analytiikkaa, parhaat kirjoittajat LLM-tuotetuilla oivalluksilla, taloudellisen vaikutuksen kirjoittajiin sekä vaikutuksen suositusjärjestelmään. Toisessa iteraatiossa he lisäsivät julkaisutason analytiikkaa ja lopullisen LLM-yhteenvedon sivun, joka arvioi kokeen strategisten tavoitteiden valossa. Arkkitehtuuri käyttää käyttäjä-lokeja, kokeiden sanastoja, aggregoidtua dataa ja sisäistä LLM:ää raporttien tuottamiseen. He korostavat, että on tärkeää ymmärtää A/B-testien koko ekosysteemin vaikutus pelkkien yksinkertaisten mittareiden parannusten sijaan.
Lähde: Habr — хаб ML —
Alkuperäinen