Von manuellen Regeln zum Modell: Wie man Subventionen automatisiert, ohne die A/B-Kennzahlen zu senken
Arina Sokova, Analystin bei Avito Podrabotka, beschreibt die Umstellung von der manuellen Subventionsvergabe auf ein automatisiertes System. Das neue System nutzt ein Preisreaktionsmodell und einen Budgetverteilungsalgorithmus, um die Subventionierung zu minimieren und gleichzeitig die Geschäftskennzahlen beizubehalten. Das Modell behandelt Datenverzerrungen, verwendet monotone Restriktionen und ist für eine genaue Budgetverteilung kalibriert.
Avito Podrabotka, ein Dienst für Zeitarbeit, hat früher ‚ontop'-Zuschüsse für weniger attraktive Schichten manuell an Gig-Worker vergeben, finanziert aus dem Budget der Plattform. Mit dem Wachstum des Dienstes wurde die manuelle Verwaltung ineffizient, was zu Überausgaben in unelastischen Segmenten und Unterausgaben dort führte, wo Zuschüsse nötig waren, und das Ziel wurde gesetzt, das SubGMV (Subventionierungsniveau) zu senken, ohne die Geschäftskennzahlen zu beeinträchtigen. Das Team bewertete verschiedene Ansätze, darunter Geschäftsregeln, binäres Uplift, Banditen, bestärkendes Lernen und Bayes'sche Methoden, entschied sich jedoch aufgrund von Einschränkungen für ein Preis-Reaktions-Modell: verzerrte Daten, begrenzte Experimentierfähigkeit (‚ontop' kann in Tests nicht auf null gesetzt werden), geringe Häufigkeit und verzögertes Feedback sowie die Notwendigkeit der Interpretierbarkeit. Das Modell sagt die Wahrscheinlichkeit voraus, dass eine Schicht innerhalb eines bestimmten Tages geschlossen wird, basierend auf dem Preis (Grundpreis plus ‚ontop'), Schichtparametern, Geolokalisierung, Markt und historischen Plattformstatistiken. Zur Bekämpfung von Datenverzerrungen erweiterten sie die Trainingsdaten um A/B-Testdaten und formulierten die Aufgabe als Drei-Klassen-Klassifikation (Kontakt in Gruppe A, Kontakt in Gruppe B, kein Kontakt), die später in der Produktion auf zwei Klassen reduziert wurde. Sie wandten eine Monotonie-Einschränkung auf Preisfunktionen an, um sicherzustellen, dass höhere Subventionen die Schließungswahrscheinlichkeit nicht verringern, umgesetzt durch die Zerlegung von CatBoost in zwei binäre Modelle. Zu den wichtigsten Bewertungskennzahlen gehören LogLoss 0,44, Brier 0,29, Abweichung der Füllrate von -0,6 Prozentpunkten und eine Symmetrielücke unter 0,01. Die Kalibrierung des Modells ist entscheidend für den Budgetzuordnungsalgorithmus, um Subventionen effektiv zu verteilen, ohne die abgeschlossenen Schichten und die Füllrate zu beeinträchtigen.
Quelle: Habr — хаб ML —
Original