Dari Aturan Manual ke Model: Cara Mengotomatiskan Subsidi Tanpa Menurunkan Metrik A/B

Avito Podrabotka, layanan pekerjaan sementara, sebelumnya menggunakan alokasi subsidi 'ontop' secara manual untuk pekerja gig pada shift yang kurang menarik, yang didanai dari anggaran platform. Seiring pertumbuhan layanan, pengelolaan manual menjadi tidak efisien, menyebabkan pengeluaran berlebih di segmen inelastis dan pengeluaran yang kurang pada segmen yang membutuhkan subsidi, sehingga ditetapkan tujuan untuk mengurangi SubGMV (tingkat subsidi) tanpa merusak metrik bisnis. Tim mengevaluasi berbagai pendekatan termasuk aturan bisnis, uplift biner, bandit, pembelajaran penguatan, dan metode Bayesian, tetapi memilih model respons harga karena kendala: data miring, kemampuan eksperimen terbatas (tidak dapat menghilangkan ontop dalam pengujian), frekuensi rendah dan umpan balik tertunda, serta kebutuhan interpretabilitas. Model memprediksi probabilitas slot terisi dalam hari tertentu, berdasarkan harga (tarif dasar ditambah ontop), parameter shift, geolokasi, pasar, dan statistik historis platform. Untuk mengatasi bias data, mereka memperluas data pelatihan dengan data uji A/B dan merumuskan tugas sebagai klasifikasi tiga kelas (kontak di grup A, kontak di grup B, tanpa kontak), kemudian disederhanakan menjadi dua kelas dalam produksi. Mereka menerapkan batasan monoton pada fitur harga untuk memastikan subsidi yang lebih tinggi tidak menurunkan probabilitas penutupan, diimplementasikan melalui dekomposisi CatBoost menjadi dua model biner. Metrik evaluasi utama meliputi LogLoss 0,44, Brier 0,29, deviasi Fill Rate -0,6 poin persentase, dan celah simetri di bawah 0,01. Kalibrasi model sangat penting untuk algoritma alokasi anggaran agar dapat mendistribusikan subsidi secara efektif tanpa menurunkan slot Completed dan Fill Rate.