मैनुअल नियमों से मॉडल तक: A/B मेट्रिक्स को बिना गिराए सब्सिडी कैसे स्वचालित करें

Avito Podrabotka, एक अस्थायी रोजगार सेवा, पहले कम आकर्षक शिफ्टों के लिए गिग श्रमिकों को 'ऑनटॉप' सब्सिडी मैन्युअल रूप से आवंटित करती थी, जो प्लेटफ़ॉर्म के बजट से वित्त पोषित होती थी। जैसे-जैसे सेवा बढ़ी, मैन्युअल प्रबंधन अक्षम हो गया, जिससे लोचदार क्षेत्रों में अधिक व्यय और सब्सिडी की आवश्यकता वाले क्षेत्रों में कम व्यय हुआ, और व्यावसायिक मेट्रिक्स को नुकसान पहुँचाए बिना SubGMV (सब्सिडीकरण स्तर) को कम करने का लक्ष्य निर्धारित किया गया। टीम ने विभिन्न दृष्टिकोणों का मूल्यांकन किया, जिनमें व्यावसायिक नियम, बाइनरी अपलिफ्ट, बैंडिट, सुदृढीकरण सीखना और बायेसियन विधियाँ शामिल थीं, लेकिन बाधाओं के कारण मूल्य-प्रतिक्रिया मॉडल को चुना: तिरछा डेटा, सीमित प्रयोग क्षमता (परीक्षणों में ऑनटॉप को शून्य नहीं किया जा सकता), कम आवृत्ति और विलंबित फीडबैक, और व्याख्या की आवश्यकता। मॉडल एक विशिष्ट दिन के भीतर स्लॉट बंद होने की संभावना की भविष्यवाणी करता है, जो मूल्य (आधार दर और ऑनटॉप), शिफ्ट पैरामीटर, भू-स्थान, बाजार और प्लेटफ़ॉर्म के ऐतिहासिक आँकड़ों पर आधारित है। डेटा पूर्वाग्रह से निपटने के लिए, उन्होंने प्रशिक्षण डेटा को A/B परीक्षण डेटा के साथ विस्तारित किया और कार्य को तीन-वर्गीय वर्गीकरण (समूह A में संपर्क, समूह B में संपर्क, कोई संपर्क नहीं) के रूप में तैयार किया, जिसे बाद में उत्पादन में दो वर्गों में बदल दिया गया। उन्होंने मूल्य सुविधाओं पर एक मोनोटोनिक बाधा लागू की ताकि यह सुनिश्चित हो सके कि उच्च सब्सिडी बंद होने की संभावना को कम न करे, CatBoost को दो बाइनरी मॉडलों में विघटित करके इसे कार्यान्वित किया। मुख्य मूल्यांकन मेट्रिक्स में LogLoss 0.44, Brier 0.29, फिल रेट विचलन -0.6 प्रतिशत अंक, और समरूपता अंतर 0.01 से कम शामिल हैं। पूर्ण स्लॉट और फिल रेट को ख़राब किए बिना सब्सिडी को प्रभावी ढंग से वितरित करने के लिए बजट आवंटन एल्गोरिदम के लिए मॉडल का कैलिब्रेशन महत्वपूर्ण है।