수동 규칙에서 모델로: A/B 메트릭을 떨어뜨리지 않고 보조금을 자동화하는 방법

Avito Podrabotka(임시 고용 서비스)는 이전에 매력이 적은 교대 근무에 대해 '온탑' 보조금을 수동으로 배정했으며, 이는 플랫폼 예산으로 충당되었습니다. 서비스가 성장함에 따라 수동 관리의 비효율성이 드러나 비탄력적인 세그먼트에서는 과도한 지출이, 보조금이 필요한 곳에서는 부족한 지출이 발생했으며, 비즈니스 지표를 해치지 않으면서 SubGMV(보조금 수준)를 줄이는 것이 목표로 설정되었습니다. 팀은 비즈니스 규칙, 이진 업리프트, 밴디트, 강화 학습, 베이지안 방법 등 다양한 접근 방식을 평가했지만, 편향된 데이터, 제한된 실험 능력(테스트에서 온탑을 0으로 설정할 수 없음), 낮은 빈도와 지연된 피드백, 해석 가능성 요구 등의 제약으로 인해 가격 반응 모델을 선택했습니다. 이 모델은 가격(기본 요율에 온탑을 더한 값), 교대 근무 매개변수, 지리적 위치, 시장, 과거 플랫폼 통계를 기반으로 특정 날짜 내에 슬롯이 마감될 확률을 예측합니다. 데이터 편향을 해결하기 위해 A/B 테스트 데이터로 훈련 데이터를 확장했고, 작업을 3클래스 분류(그룹 A에서 접촉, 그룹 B에서 접촉, 접촉 없음)로 구성했으며, 프로덕션에서는 두 클래스로 축소했습니다. 또한 가격 특징에 단조 제약을 적용하여 보조금이 높을수록 마감 확률이 감소하지 않도록 했으며, CatBoost를 두 개의 이진 모델로 분해하여 구현했습니다. 주요 평가 지표로는 LogLoss 0.44, Brier 0.29, 필률 편차 -0.6%포인트, 대칭 격차 0.01 미만이 있습니다. 모델의 보정은 예산 할당 알고리즘이 완료된 슬롯과 필률을 저하시키지 않으면서 보조금을 효과적으로 분배하는 데 중요합니다.