Manuel Kurallardan Modele: A/B Metriklerini Düşürmeden Sübvansiyonlar Nasıl Otomatikleştirilir

Avito Podrabotka, geçici istihdam hizmeti, daha az cazip vardiyalar için gig çalışanlarına 'ontop' sübvansiyonlarını manuel olarak atıyor ve bu sübvansiyonlar platformun bütçesinden finanse ediliyordu. Hizmet büyüdükçe, manuel yönetim verimsiz hale geldi; esnek olmayan segmentlerde aşırı harcamaya ve sübvansiyonun gerekli olduğu yerlerde eksik harcamaya yol açtı ve iş metriklerine zarar vermeden SubGMV'yi (sübvansiyon seviyesi) düşürme hedefi belirlendi. Ekip, iş kuralları, ikili uplift, banditler, takviyeli öğrenme ve Bayes yöntemleri dahil olmak üzere çeşitli yaklaşımları değerlendirdi, ancak kısıtlar nedeniyle fiyat-tepki modelini seçti: çarpık veri, sınırlı deney kapasitesi (testlerde ontop sıfırlanamıyor), düşük frekans ve gecikmeli geri bildirim ve yorumlanabilirlik ihtiyacı. Model, fiyata (taban ücret artı ontop), vardiya parametrelerine, coğrafi konuma, pazara ve tarihsel platform istatistiklerine dayalı olarak bir slotun belirli bir gün içinde kapanma olasılığını tahmin eder. Veri yanlılığını önlemek için, eğitim verilerini A/B test verileriyle genişlettiler ve görevi üç sınıflı bir sınıflandırma (A grubunda iletişim, B grubunda iletişim, iletişim yok) olarak formüle ettiler; daha sonra üretimde iki sınıfa indirdiler. Daha yüksek sübvansiyonların kapanma olasılığını düşürmemesini sağlamak için fiyat özelliklerine monotonik bir kısıt uyguladılar; bu, CatBoost'un iki ikili modele ayrıştırılmasıyla gerçekleştirildi. Temel değerlendirme metrikleri arasında LogLoss 0.44, Brier 0.29, Dolum Oranı sapması -0.6 puan ve simetri farkı 0.01'in altında yer alır. Modelin kalibrasyonu, bütçe tahsis algoritmasının, Tamamlanan slotlar ve Dolum Oranını düşürmeden sübvansiyonları etkili bir şekilde dağıtması için çok önemlidir.