De CTR a Negócios: Como a Avito Cria Modelos de Monetização com ML
A equipe de ciência de dados da Avito explica como estima a receita esperada de ações dos usuários e a utiliza na classificação. Eles usam modelos de CTR, CVR e ajuste de lances, avaliam a qualidade com ROC-AUC estratificado e abordam atribuição e viés de posição.
O artigo, escrito por Alina Babenko, gerente de ciência de dados interina na Avito, descreve como a equipe da empresa desenvolve modelos de monetização para busca e recomendações. A tarefa central é estimar a receita esperada das interações dos usuários com os anúncios e incorporá-la à classificação. A principal métrica é o crescimento da receita, mas a equipe precisa equilibrar isso com a qualidade da busca para os usuários. São usados três tipos de modelos: modelos de CTR que preveem a probabilidade de um clique, modelos de CVR que estimam a chance de uma ação-alvo após o clique e um modelo de correção que ajusta os lances com base na qualidade do tráfego. Para manter o custo médio por clique estável, eles usam a perda de entropia cruzada da consulta. Para avaliar a qualidade da classificação, eles usam ROC-AUC estratificado em vez de ROC-AUC global, porque os usuários comparam anúncios dentro de uma única consulta. A calibração é avaliada com a métrica RIG. Eles enfrentam desafios com a atribuição, usando abordagens de último clique, primeiro clique ou multi-toque, e estão explorando dar menos peso aos cliques iniciais. Para combater o viés de posição, eles usam três modelos CatBoost ou ponderação por probabilidade inversa de propensão. Eles também estão fazendo a transição do CatBoost para o aprendizado profundo, que já mostra melhor qualidade de previsão de CTR, mas observam que modelar negócios é mais complexo do que cliques devido às jornadas mais longas do usuário.
Fonte: Habr — хаб ML —
original