Từ CTR đến Deals: Cách Avito Xây Dựng Mô Hình Kiếm Tiền bằng ML

Bài viết của Alina Babenko, giám đốc khoa học dữ liệu tạm thời tại Avito, mô tả cách nhóm của công ty xây dựng các mô hình kiếm tiền cho tìm kiếm và gợi ý. Nhiệm vụ cốt lõi là ước tính doanh thu dự kiến từ các tương tác của người dùng với các mục rao và tích hợp nó vào xếp hạng. Chỉ số chính là tăng trưởng doanh thu, nhưng nhóm phải cân bằng điều này với chất lượng tìm kiếm cho người dùng. Ba loại mô hình được sử dụng: mô hình CTR dự đoán xác suất nhấp chuột, mô hình CVR ước tính khả năng có một hành động mục tiêu sau khi nhấp chuột, và một mô hình hiệu chỉnh điều chỉnh giá thầu dựa trên chất lượng lưu lượng truy cập. Để giữ chi phí trung bình trên mỗi nhấp chuột ổn định, họ sử dụng hàm mất mát entropy chéo theo truy vấn. Để đánh giá chất lượng xếp hạng, họ sử dụng ROC-AUC phân tầng thay vì ROC-AUC toàn cục, vì người dùng so sánh các mục rao trong cùng một truy vấn. Hiệu chuẩn được đánh giá bằng chỉ số RIG. Họ đối mặt với các thách thức về quy gán, sử dụng quy gán lần nhấp cuối, lần nhấp đầu hoặc đa điểm chạm, và đang khám phá việc giảm trọng số cho các lần nhấp sớm. Để chống lại sự thiên vị về vị trí, họ sử dụng ba mô hình CatBoost hoặc phương pháp cân bằng trọng số nghịch đảo xác suất. Họ cũng đang chuyển từ CatBoost sang học sâu, mô hình này đã cho thấy chất lượng dự đoán CTR tốt hơn, nhưng lưu ý rằng mô hình hóa các giao dịch phức tạp hơn so với nhấp chuột do hành trình người dùng dài hơn.