Uplift Model Championship: Testing S-learner, T-learner, X-learner, and Causal Forest on Synthetic and Semi-Synthetic Data with PEHE Metric
Avito analyst Grisha Kryukov conducted a comparison of four popular uplift models: S-learner, T-learner, X-learner, and Causal Forest. The tournament used synthetic and semi-synthetic data, with quality evaluated by the PEHE metric. The architectures of the models and the results of the group stage are analyzed in detail.
Авито के विश्लेषक ग्रिशा क्र्युकोव ने चार अपलिफ्ट मॉडलों — S-लर्नर, T-लर्नर, X-लर्नर और कॉज़ल फ़ॉरेस्ट — के बीच एक चैंपियनशिप आयोजित की, ताकि व्यक्तिगत प्रभावों (अपलिफ्ट) का मूल्यांकन किया जा सके। सभी मॉडलों ने डिफ़ॉल्ट सेटिंग्स के साथ ग्रेडिएंट बूस्टिंग का उपयोग किया। टूर्नामेंट में सिंथेटिक डेटा पर एक ग्रुप स्टेज शामिल था, जहां सही प्रभाव निर्माण के अनुसार ज्ञात है, और अर्ध-सिंथेटिक डेटा वास्तविक समस्याओं के करीब पहुंचने के लिए। गुणवत्ता को PEHE (प्रिसिज़न इन एस्टीमेशन ऑफ़ हेटेरोजीनियस इफ़ेक्ट) मीट्रिक से मापा गया, जो व्यक्तिगत कॉज़ल प्रभाव की भविष्यवाणी त्रुटि की ईमानदारी से गणना करने की अनुमति देता है। S-लर्नर एक फीचर के रूप में उपचार फ़्लैग के साथ सभी डेटा पर एक मॉडल प्रशिक्षित करता है। T-लर्नर उपचार और बिना उपचार वाले समूहों के लिए दो अलग-अलग मॉडल बनाता है। X-लर्नर अतिरिक्त रूप से स्यूडो-इफ़ेक्ट और भारांक के लिए प्रोपेंसिटी मॉडल का उपयोग करता है। कॉज़ल फ़ॉरेस्ट पेड़ों का एक एन्सेम्बल है जो उपचार प्रभाव में अंतर को अधिकतम करने के लिए स्प्लिट्स को अनुकूलित करता है। लेख में प्रत्येक आर्किटेक्चर की ताकत और कमजोरियों पर भी चर्चा की गई है, जिसमें असंतुलन के प्रति संवेदनशीलता और कम्प्यूटेशनल जटिलता शामिल है।
स्रोत: Habr — хаб ML —
मूल