Del CTR a las transacciones: cómo Avito construye modelos de monetización con ML

El artículo, escrito por Alina Babenko, manager interina de DS en Avito, describe cómo el equipo de la empresa construye modelos de monetización para búsqueda y recomendaciones. La tarea principal es estimar los ingresos esperados de las interacciones de los usuarios con los anuncios e incorporarlos en el ranking. La métrica principal es el crecimiento de ingresos, pero el equipo debe equilibrar esto con la calidad de búsqueda para los usuarios. Se utilizan tres tipos de modelos: los modelos de CTR predicen la probabilidad de un clic, los modelos de CVR estiman la probabilidad de una acción objetivo después de un clic, y un modelo de corrección ajusta las pujas según la calidad del tráfico. Para mantener estable el coste medio por clic, utilizan la pérdida de entropía cruzada de la consulta. Para evaluar la calidad del ranking, utilizan ROC-AUC estratificado en lugar de ROC-AUC global, porque los usuarios comparan anuncios dentro de una misma consulta. La calibración se evalúa con la métrica RIG. Se enfrentan a desafíos con la atribución, utilizando último clic, primer clic o enfoques multitáctiles, y están explorando dar menos peso a los clics tempranos. Para combatir el sesgo de posición, utilizan tres modelos de CatBoost o ponderación por propensión inversa. También están haciendo la transición de CatBoost a deep learning, que ya muestra una mejor calidad de predicción de CTR, pero señalan que modelar transacciones es más complejo que los clics debido a los recorridos de usuario más largos.