Từ BI rời rạc đến báo cáo HTML hỗ trợ bởi AI: Cách Dzen tích hợp LLM vào phân tích thử nghiệm A/B

Đội ngũ tại Dzen, do Mikhail Ryazansky và Mark Khabarov dẫn dắt, đã xây dựng một công cụ phân tích thử nghiệm A/B (kiểm thử A/B) có tích hợp LLM (mô hình ngôn ngữ lớn). Ban đầu, họ thử dùng hệ thống BI (business intelligence – nghiệp vụ thông minh) mang tên DataLens, nhưng hệ thống này không xử lý nổi khối lượng dữ liệu. Vì vậy, họ đã tự xây dựng các báo cáo HTML nhẹ, có thể truy cập thông qua bot trên ứng dụng nhắn tin. Các báo cáo này bao gồm: phân tích ở cấp độ tác giả, danh sách các tác giả hàng đầu kèm nhận định do LLM tạo ra, tác động tài chính đối với tác giả, và ảnh hưởng đến hệ thống gợi ý nội dung. Ở phiên bản thứ hai, nhóm bổ sung thêm phần phân tích ở cấp độ từng bài đăng, cùng một trang tóm tắt cuối cùng do LLM tạo ra để đánh giá thử nghiệm dựa trên các mục tiêu chiến lược. Kiến trúc hệ thống sử dụng nhật ký người dùng, các từ điển thử nghiệm, dữ liệu đã được tổng hợp, và một LLM nội bộ để tạo ra các báo cáo. Nhóm nhấn mạnh tầm quan trọng của việc hiểu được tác động toàn diện lên cả hệ sinh thái từ các thử nghiệm A/B, thay vì chỉ dừng lại ở việc cải thiện các chỉ số đơn lẻ.