Tıklama Oranından Anlaşmalara: Avito Makine Öğrenimi Para Kazanma Modellerini Nasıl İnşa Ediyor
Avito'nun veri bilimi ekibi, kullanıcı eylemlerinden beklenen geliri nasıl tahmin ettiklerini ve bunu sıralamada nasıl kullandıklarını açıklıyor. Tıklama oranı, dönüşüm oranı ve teklif ayarlama modelleri kullanıyorlar; kaliteyi katmanlı ROC-AUC ile değerlendiriyorlar ve ilişkilendirme ile konum yanlılığını ele alıyorlar.
Alina Babenko'nun, Avito'da vekaleten veri bilimi yöneticisi olarak yazdığı makale, şirketin ekibinin arama ve öneriler için para kazanma modellerini nasıl oluşturduğunu anlatıyor. Temel görev, kullanıcıların ilanlarla etkileşimlerinden beklenen geliri tahmin etmek ve bunu sıralamaya dahil etmektir. Ana metrik gelir artışıdır, ancak ekibin bunu kullanıcılar için arama kalitesiyle dengelemesi gerekir. Üç tür model kullanılır: TTO modelleri bir tıklama olasılığını tahmin eder, DDO modelleri bir tıklamadan sonra hedef eylemin şansını tahmin eder ve bir düzeltme modeli, trafik kalitesine göre teklifleri ayarlar. Ortalama tıklama başına maliyeti sabit tutmak için sorgu çapraz entropi kaybını kullanırlar. Sıralama kalitesini değerlendirmek için, kullanıcılar ilanları tek bir sorgu içinde karşılaştırdığından, küresel ROC-AUC yerine katmanlı ROC-AUC kullanırlar. Kalibrasyon RIG metriği ile değerlendirilir. İlişkilendirme konusunda zorluklarla karşılaşırlar; son tıklama, ilk tıklama veya çoklu dokunma yaklaşımlarını kullanırlar ve erken tıklamalara daha az ağırlık vermeyi araştırırlar. Konum yanlılığıyla mücadele etmek için ya üç CatBoost modeli ya da ters eğilim ağırlıklandırması kullanırlar. Ayrıca CatBoost'tan derin öğrenmeye geçiş yapıyorlar; bu, şimdiden daha iyi TTO tahmin kalitesi gösteriyor, ancak işlemlerin modellenmesinin, daha uzun kullanıcı yolculukları nedeniyle tıklamalardan daha karmaşık olduğunu belirtiyorlar.
Kaynak: Habr — хаб ML —
orijinal