De reglas manuales a modelo: cómo automatizar subsidios sin sacrificar métricas A/B

Avito Podrabotka, un servicio de empleo temporal, solía asignar manualmente subsidios 'ontop' a los trabajadores autónomos por turnos menos atractivos, financiados con el presupuesto de la plataforma. A medida que el servicio crecía, la gestión manual se volvía ineficiente, lo que provocaba un gasto excesivo en segmentos inelásticos y un gasto insuficiente donde se necesitaban subsidios, y se fijó el objetivo de reducir el SubGMV (nivel de subvención) sin perjudicar las métricas comerciales. El equipo evaluó varios enfoques, incluidas reglas de negocio, uplift binario, bandidos, aprendizaje por refuerzo y métodos bayesianos, pero eligió un modelo de respuesta al precio debido a las restricciones: datos sesgados, capacidad experimental limitada (no se puede eliminar ontop en las pruebas), baja frecuencia y retroalimentación retrasada, y necesidad de interpretabilidad. El modelo predice la probabilidad de que un turno se cierre en un día específico, basándose en el precio (tarifa base más ontop), los parámetros del turno, la geolocalización, el mercado y las estadísticas históricas de la plataforma. Para combatir el sesgo en los datos, ampliaron los datos de entrenamiento con datos de pruebas A/B y formularon la tarea como una clasificación de tres clases (contacto en el grupo A, contacto en el grupo B, sin contacto), que luego se redujo a dos clases en producción. Aplicaron una restricción de monotonicidad en las características de precio para garantizar que los subsidios más altos no disminuyan la probabilidad de cierre, implementada descomponiendo CatBoost en dos modelos binarios. Las métricas de evaluación clave incluyen LogLoss 0.44, Brier 0.29, desviación del Fill Rate de -0.6 puntos porcentuales y una brecha de simetría inferior a 0.01. La calibración del modelo es crucial para que el algoritmo de asignación presupuestaria distribuya los subsidios de manera efectiva sin degradar los turnos completados ni el Fill Rate.