De Regras Manuais a Modelo: Como Automatizar Subsídios Sem Perder Métricas A/B

Avito Podrabotka, um serviço de emprego temporário, costumava atribuir manualmente subsídios 'ontop' a trabalhadores autônomos para turnos menos atrativos, financiados pelo orçamento da plataforma. Com o crescimento do serviço, a gestão manual tornou-se ineficiente, resultando em gastos excessivos em segmentos inelásticos e gastos insuficientes onde os subsídios eram necessários, e o objetivo foi definido como reduzir o SubGMV (nível de subsidiação) sem prejudicar as métricas de negócio. A equipe avaliou várias abordagens, incluindo regras de negócio, uplift binário, bandidos, aprendizado por reforço e métodos bayesianos, mas escolheu um modelo de resposta a preço devido a restrições: dados enviesados, capacidade limitada de experimentação (não é possível zerar o ontop nos testes), baixa frequência e feedback atrasado, e necessidade de interpretabilidade. O modelo prevê a probabilidade de um slot ser fechado em um dia específico, com base no preço (taxa base mais ontop), parâmetros do turno, geolocalização, mercado e estatísticas históricas da plataforma. Para combater o viés nos dados, eles expandiram os dados de treinamento com dados de testes A/B e formularam a tarefa como uma classificação de três classes (contato no grupo A, contato no grupo B, sem contato), posteriormente reduzida para duas classes em produção. Aplicaram uma restrição monotônica nos atributos de preço para garantir que subsídios mais altos não diminuam a probabilidade de fechamento, implementada por meio da decomposição do CatBoost em dois modelos binários. As principais métricas de avaliação incluem LogLoss 0,44, Brier 0,29, desvio da Taxa de Preenchimento de -0,6 pontos percentuais e uma lacuna de simetria abaixo de 0,01. A calibração do modelo é crucial para o algoritmo de alocação de orçamento distribuir subsídios de forma eficaz sem degradar os slots concluídos e a Taxa de Preenchimento.