从人工规则到模型:如何在保持A/B指标不变的情况下实现补贴自动化
Avito Podrabotka的分析师Arina Sokova描述了从人工分配补贴向自动化系统过渡的过程。新系统采用价格响应模型和预算分配算法,在维持业务指标的同时最大程度减少补贴支出。该模型处理数据偏差,使用单调约束,并经过校准以实现准确的预算分配。
Avito Podrabotka 是一款临时就业服务,过去常常手动为零工工作者分配“置顶”补贴,以激励他们接受吸引力较低的班次,资金来自平台预算。随着业务规模扩大,手动管理变得效率低下,导致在缺乏弹性的细分市场中补贴超支,而在需要补贴的领域却投入不足,因此目标是降低 SubGMV(补贴水平)的同时不损害业务指标。团队评估了包括业务规则、二元提升、多臂老虎机、强化学习及贝叶斯方法在内的多种方案,但最终由于数据偏斜、实验能力有限(测试中无法将补贴清零)、低频及延迟反馈、以及需要可解释性等限制,选择了价格响应模型。该模型根据价格(基础费率加上补贴)、班次参数、地理位置、市场及历史平台统计信息,预测某一班次在特定日期内被填补的概率。为应对数据偏差,他们利用 A/B 测试数据扩充了训练集,并将任务建模为三分类问题(A 组联系、B 组联系、无联系),生产环境中则合并为二分类。他们对价格特征施加了单调性约束,确保更高的补贴不会降低填补概率,并通过将 CatBoost 分解为两个二分类模型来实现这一点。关键评估指标包括 LogLoss 0.44、Brier 0.29、填补率偏差 -0.6 个百分点,以及对称性差距低于 0.01。模型的校准对于预算分配算法至关重要,以确保补贴有效分配,而不会降低已完成班次数和填补率。
来源: Habr — хаб ML —
原文
