CTR:stä kauppoihin: Näin Avito rakentaa ML-monetisointimalleja
Aviton data science -tiimi kertoo, miten he arvioivat käyttäjätoimintojen odotettua tuottoa ja käyttävät sitä sijoitusten järjestämisessä. He käyttävät CTR-, CVR- ja tarjouskorjausmalleja, arvioivat laatua stratifioidulla ROC-AUC:lla ja käsittelevät attribuutio- ja asemaharhoja.
Artikkelin on kirjoittanut Alina Babenko, Aviton toimiva data science -päällikkö, ja siinä kuvataan, miten yrityksen tiimi rakentaa mallinnusta hakujen ja suositusten rahallistamiseen. Keskeinen tehtävä on arvioida odotettua tuottoa käyttäjien vuorovaikutuksista ilmoitusten kanssa ja sisällyttää se rankkaukseen. Pääasiallinen mittari on tuoton kasvu, mutta tiimin on tasapainotettava tämä hakujen laadun kanssa käyttäjille. Käytössä on kolmenlaisia malleja: CTR-mallit ennustavat klikkauksen todennäköisyyttä, CVR-mallit arvioivat todennäköisyyttä kohdetoimintaan klikkauksen jälkeen, ja korjausmalli säätää tarjouksia liikenteen laadun perusteella. Jotta keskimääräinen hinta klikkausta kohden pysyisi vakaana, he käyttävät kyselyiden ristientropiahäviötä. Rankkauksen laadun arviointiin he käyttävät kerrostettua ROC-AUC-mittaria globaalin ROC-AUC:n sijaan, koska käyttäjät vertailevat ilmoituksia yhden kyselyn sisällä. Kalibrointia arvioidaan RIG-mittarilla. He kohtaavat haasteita attribuutiossa, käyttävät viimeisen klikkauksen, ensimmäisen klikkauksen tai usean kosketuspisteen lähestymistapoja, ja tutkivat mahdollisuutta antaa vähemmän painoarvoa varhaisille klikkauksille. Taistellakseen sijaintiharhaa vastaan he käyttävät joko kolmea CatBoost-mallia tai käänteista taipumuspainotusta. He ovat myös siirtymässä CatBoostista syväoppimiseen, joka osoittaa jo parempaa CTR-ennustuslaatua, mutta huomauttavat, että kauppojen mallintaminen on monimutkaisempaa kuin klikkausten, koska käyttäjäpolut ovat pidempiä.
Lähde: Habr — хаб ML —
Alkuperäinen