Dari CTR hingga Transaksi: Bagaimana Avito Membangun Model Monetisasi ML
Tim ilmu data Avito menjelaskan bagaimana mereka memperkirakan pendapatan yang diharapkan dari tindakan pengguna dan menggunakannya dalam peringkat. Mereka menggunakan model CTR, CVR, dan penyesuaian tawaran, mengevaluasi kualitas dengan ROC-AUC bertingkat, dan menangani atribusi serta bias posisi.
Artikel yang ditulis oleh Alina Babenko, DS-manager (akting) di Avito, menjelaskan bagaimana tim perusahaan membangun model monetisasi untuk pencarian dan rekomendasi. Tugas intinya adalah memperkirakan pendapatan yang diharapkan dari interaksi pengguna dengan iklan baris dan memasukkannya ke dalam peringkat. Metrik utamanya adalah pertumbuhan pendapatan, tetapi tim harus menyeimbangkannya dengan kualitas pencarian bagi pengguna. Tiga jenis model digunakan: model CTR (Click-Through Rate) memprediksi probabilitas klik, model CVR (Conversion Rate) memperkirakan peluang tindakan target setelah klik, dan model koreksi menyesuaikan tawaran berdasarkan kualitas lalu lintas. Untuk menjaga biaya rata-rata per klik tetap stabil, mereka menggunakan loss cross-entropy pada kueri. Untuk mengevaluasi kualitas peringkat, mereka menggunakan ROC-AUC bertingkat (stratified) daripada ROC-AUC global, karena pengguna membandingkan iklan baris dalam satu kueri tunggal. Kalibrasi dinilai dengan metrik RIG (Relative Information Gain). Mereka menghadapi tantangan atribusi, menggunakan pendekatan klik terakhir, klik pertama, atau multi-sentuh, dan sedang menjajaki untuk memberi bobot lebih kecil pada klik awal. Untuk mengatasi bias posisi, mereka menggunakan tiga model CatBoost atau pembobotan kebalikan propensitas (inverse propensity weighting). Mereka juga sedang bertransisi dari CatBoost ke pembelajaran mendalam, yang sudah menunjukkan kualitas prediksi CTR yang lebih baik, tetapi mereka mencatat bahwa memodelkan transaksi (deals) lebih kompleks daripada klik karena perjalanan pengguna yang lebih panjang.
Sumber: Habr — хаб ML —
asli