Uplift Model Championship: Testing S-learner, T-learner, X-learner, and Causal Forest on Synthetic and Semi-Synthetic Data with PEHE Metric

Аналитик Авито Гриша Крюков организовал чемпионат среди четырёх uplift-моделей — S-learner, T-learner, X-learner и Causal Forest — для оценки индивидуальных эффектов (uplift). Все модели использовали градиентный бустинг с дефолтными настройками. Турнир включал групповой этап на синтетических данных, где истинный эффект известен по построению, и полусинтетические данные для приближения к реальным задачам. Качество измерялось метрикой PEHE (Precision in Estimation of Heterogeneous Effect), которая позволяет честно вычислить ошибку предсказания индивидуального каузального эффекта. S-learner обучает одну модель на всех данных с флагом воздействия как признаком. T-learner строит две отдельные модели для групп с воздействием и без. X-learner дополнительно использует псевдоэффекты и модель склонности (propensity model) для взвешивания. Causal Forest — ансамбль деревьев, которые оптимизируют сплиты для максимизации различий в эффекте воздействия. В статье также обсуждаются сильные и слабые стороны каждой архитектуры, включая чувствительность к дисбалансу и вычислительную сложность.