Manuaalisista säännöistä malliksi: Kuinka automatisoida tuet pudottamatta A/B-mittareita

Avito Podrabotka, tilapäistyövoimaa välittävä palvelu, määritti aiemmin manuaalisesti ”ontop”-tukia keikkatyöntekijöille vähemmän houkutteleviin vuoroihin, rahoitettuna alustan budjetista. Palvelun kasvaessa manuaalisesta hallinnasta tuli tehotonta, mikä johti ylikulutukseen joustamattomissa segmenteissä ja alikulutukseen siellä, missä tukia tarvittiin, ja tavoitteeksi asetettiin SubGMV:n (tukitason) vähentäminen heikentämättä liiketoimintamittareita. Tiimi arvioi erilaisia lähestymistapoja, kuten liiketoimintasääntöjä, binääristä upliftiä, bandiitteja, vahvistusoppimista ja Bayes-menetelmiä, mutta valitsi hinta-vastemallin rajoitteiden vuoksi: vinoutunut data, rajallinen kokeilukyvykkyys (ontop-tukia ei voi nollata testeissä), matala frekvenssi ja viivästynyt palaute sekä tulkittavuuden tarve. Malli ennustaa todennäköisyyttä, että vuoro täyttyy tietyn päivän aikana, perustuen hintaan (perusmaksu plus ontop), vuoroparametreihin, sijaintiin, markkinaan ja historiallisiin alustatilastoihin. Datavääristymän torjumiseksi he laajensivat koulutusdataa A/B-testidatalla ja muotoilivat tehtävän kolmiluokkaiseksi luokitteluksi (kontakti ryhmässä A, kontakti ryhmässä B, ei kontaktia), joka myöhemmin supistettiin tuotannossa kaksiluokkaiseksi. He sovelsivat monotonista rajoitetta hintapiirteisiin varmistaakseen, että suuremmat tuet eivät vähennä täyttymistodennäköisyyttä, toteutettuna hajottamalla CatBoost kahteen binääriseen malliin. Keskeisiä arviointimittareita ovat LogLoss 0,44, Brier 0,29, täyttöasteen poikkeama -0,6 prosenttiyksikköä ja symmetriaero alle 0,01. Mallin kalibrointi on ratkaisevan tärkeää budjetinjakualgoritmille, jotta tuet jakautuvat tehokkaasti heikentämättä valmistuneita vuoroja ja täyttöastetta.