壊れたBIからAI駆動のHTMLレポートへ：DzenがA/Bテスト分析にLLMを統合した方法

Dzenのチームは、ミハイル・リャザンスキーとマーク・ハバロフのリーダーシップのもと、LLM統合を含むA/Bテスト分析ツールを開発しました。当初、彼らはBIシステム（DataLens）を試しましたが、データ量を処理できませんでした。そこで、メッセンジャーボット経由でアクセス可能な軽量なHTMLレポートを構築しました。レポートには、著者レベルの分析、LLMによる洞察を含むトップ著者、著者への経済的影響、推薦システムへの影響が含まれます。2回目のイテレーションでは、出版物レベルの分析と、戦略的目標に照らして実験を評価する最終LLMサマリーページを追加しました。アーキテクチャは、ユーザーログ、実験ディクショナリ、集計データ、内部LLMを使用してレポートを生成します。彼らは、単純なメトリック改善を超えて、A/Bテストのエコシステム全体への影響を理解することの重要性を強調しています。