Van Handmatige Regels naar Model: Hoe Subsidies te Automatiseren Zonder A/B-Metrieke te Laten Zakken

Avito Podrabotka, een uitzenddienst voor tijdelijk werk, gebruikte voorheen handmatig toegewezen 'ontop' subsidies aan kluswerkers voor minder aantrekkelijke diensten, gefinancierd uit het platformbudget. Naarmate de dienst groeide, werd handmatig beheer inefficiënt, wat leidde tot overbesteding in inelastische segmenten en onderbesteding waar subsidies nodig waren, en het doel werd gesteld om SubGMV (subsidiëringsniveau) te verlagen zonder bedrijfsmetingen te schaden. Het team evalueerde verschillende benaderingen, waaronder bedrijfsregels, binaire uplift, bandits, bekrachtigingsleren en Bayesiaanse methoden, maar koos voor een prijsresponsmodel vanwege beperkingen: scheve gegevens, beperkte experimenteermogelijkheid (ontop kan niet op nul worden gezet in tests), lage frequentie en vertraagde feedback, en de behoefte aan interpreteerbaarheid. Het model voorspelt de kans dat een dienst binnen een specifieke dag wordt ingevuld, op basis van prijs (basistarief plus ontop), dienstparameters, geolocatie, markt en historische platformstatistieken. Om gegevensbias tegen te gaan, breidden ze de trainingsgegevens uit met A/B-testgegevens en formuleerden ze de taak als een drie-klassenclassificatie (contact in groep A, contact in groep B, geen contact), die later in productie werd teruggebracht tot twee klassen. Ze pasten een monotone beperking toe op prijskenmerken om ervoor te zorgen dat hogere subsidies de kans op invulling niet verlagen, geïmplementeerd door CatBoost te decomponeren in twee binaire modellen. Belangrijke evaluatiemetrieken zijn LogLoss 0,44, Brier 0,29, Fill Rate-afwijking -0,6 procentpunt en een symmetriekloof onder 0,01. De kalibratie van het model is cruciaal voor het budgettoewijzingsalgoritme om subsidies effectief te verdelen zonder de voltooide diensten en Fill Rate te verslechteren.