Des règles manuelles au modèle : comment automatiser les subventions sans dégrader les métriques A/B
Arina Sokova, analyste chez Avito Podrabotka, décrit le passage de l'attribution manuelle des subventions à un système automatisé. Le nouveau système utilise un modèle de réponse aux prix et un algorithme d'allocation budgétaire pour minimiser les subventions tout en maintenant les métriques métier. Le modèle gère le biais des données, utilise des contraintes monotones et est calibré pour une répartition précise du budget.
Avito Podrabotka, un service d'emploi temporaire, attribuait auparavant manuellement des subventions « ontop » aux travailleurs à la tâche pour des créneaux moins attractifs, financées par le budget de la plateforme. Avec la croissance du service, la gestion manuelle est devenue inefficace, entraînant des dépenses excessives dans les segments inélastiques et des dépenses insuffisantes là où les subventions étaient nécessaires, et l'objectif a été fixé de réduire le SubGMV (niveau de subventionnement) sans nuire aux indicateurs métier. L'équipe a évalué diverses approches, notamment les règles métier, l'uplift binaire, les bandits, l'apprentissage par renforcement et les méthodes bayésiennes, mais a choisi un modèle de réponse au prix en raison de contraintes : données déséquilibrées, capacité d'expérimentation limitée (impossibilité de mettre à zéro l'ontop dans les tests), fréquence faible et retour retardé, et besoin d'interprétabilité. Le modèle prédit la probabilité qu'un créneau soit pourvu au cours d'une journée donnée, en fonction du prix (tarif de base plus ontop), des paramètres du créneau, de la géolocalisation, du marché et des statistiques historiques de la plateforme. Pour lutter contre le biais des données, ils ont élargi les données d'entraînement avec les données des tests A/B et ont formulé la tâche comme une classification à trois classes (contact dans le groupe A, contact dans le groupe B, pas de contact), avant de la réduire à deux classes en production. Ils ont appliqué une contrainte de monotonie sur les caractéristiques de prix pour garantir que des subventions plus élevées ne diminuent pas la probabilité de clôture, mise en œuvre en décomposant CatBoost en deux modèles binaires. Les principales métriques d'évaluation incluent LogLoss 0,44, Brier 0,29, un écart du taux de pourvoi de -0,6 point de pourcentage et un écart de symétrie inférieur à 0,01. L'étalonnage du modèle est crucial pour que l'algorithme d'allocation budgétaire distribue efficacement les subventions sans dégrader les créneaux comblés ni le taux de pourvoi.
Source: Habr — хаб ML —
original