Vom Klick zum Abschluss: Wie Avito ML-Monetarisierungsmodelle entwickelt
Das Data-Science-Team von Avito erklärt, wie es den erwarteten Umsatz aus Nutzeraktionen schätzt und diesen im Ranking einsetzt. Sie verwenden Klickrate-, Konversionsrate- und Gebotsanpassungsmodelle, bewerten die Qualität mit stratifiziertem ROC-AUC und adressieren Attributions- und Positionsbias.
Der Artikel, verfasst von Alina Babenko, kommissarische DS-Managerin bei Avito, beschreibt, wie das Team des Unternehmens Monetarisierungsmodelle für Suche und Empfehlungen entwickelt. Die Kernaufgabe besteht darin, den erwarteten Umsatz aus Nutzerinteraktionen mit Inseraten zu schätzen und in das Ranking einfließen zu lassen. Die Hauptkennzahl ist das Umsatzwachstum, aber das Team muss dies mit der Suchqualität für die Nutzer in Einklang bringen. Es werden drei Arten von Modellen verwendet: CTR-Modelle sagen die Wahrscheinlichkeit eines Klicks voraus, CVR-Modelle schätzen die Chance einer Zielaktion nach einem Klick, und ein Korrekturmodell passt Gebote basierend auf der Verkehrsqualität an. Um die durchschnittlichen Kosten pro Klick stabil zu halten, verwenden sie den Query-Cross-Entropy-Loss. Zur Bewertung der Ranking-Qualität verwenden sie stratifizierte ROC-AUC anstelle von globaler ROC-AUC, da Nutzer Inserate innerhalb einer einzelnen Suchanfrage vergleichen. Die Kalibrierung wird mit der RIG-Metrik bewertet. Sie stehen vor Herausforderungen bei der Attribution und verwenden Ansätze wie Last-Click, First-Click oder Multi-Touch, und untersuchen, frühen Klicks weniger Gewicht zu geben. Um den Positionsbias zu bekämpfen, verwenden sie entweder drei CatBoost-Modelle oder inverse Propensity-Gewichtung. Sie stellen außerdem von CatBoost auf Deep Learning um, das bereits eine bessere Vorhersagequalität für CTR zeigt, merken jedoch an, dass die Modellierung von Transaktionen komplexer ist als Klicks, da die Nutzerreisen länger sind.
Quelle: Habr — хаб ML —
Original