깨진 BI에서 AI 기반 HTML 보고서로: Dzen이 A/B 테스트 분석에 LLM을 통합한 방법
Yandex DataLens
Dzen의 기술 분석 팀은 A/B 테스트 결과를 분석하기 위해 LLM(대규모 언어 모델)을 통합한 맞춤형 HTML 보고서 시스템을 개발했으며, 작성자, 게시물, 재정 및 추천 시스템에 미치는 영향에 초점을 맞췄습니다. 이 시스템은 기존 BI(비즈니스 인텔리전스) 도구의 단점을 해결하고 자동화되고 통일된 인사이트를 제공합니다.
Dzen 팀의 Mikhail Ryazansky와 Mark Khabarov가 이끄는 팀은 LLM 통합을 포함한 A/B 테스트 분석 도구를 만들었습니다. 처음에는 BI 시스템(DataLens)을 사용하려 했지만 데이터 양을 처리하지 못했습니다. 그들은 메신저 봇을 통해 접근 가능한 가벼운 HTML 보고서를 구축했습니다. 보고서에는 작성자 수준 분석, LLM 생성 인사이트가 포함된 상위 작성자, 작성자에 대한 재정적 영향, 추천 시스템에 미치는 영향이 포함됩니다. 두 번째 반복에서는 게시물 수준 분석과 전략적 목표에 대한 실험을 평가하는 최종 LLM 요약 페이지를 추가했습니다. 아키텍처는 사용자 로그, 실험 사전, 집계 데이터, 내부 LLM을 사용하여 보고서를 생성합니다. 그들은 단순한 지표 개선 이상으로 A/B 테스트의 전체 생태계 영향을 이해하는 것의 중요성을 강조합니다.
출처: Habr — хаб ML —
원문