ट्रैवलटेक में 5 हफ्तों में रिकमेंडेशन सिस्टम कैसे बनाएं: फीचर स्टोर की जगह Kafka और MongoDB
Tutu
टूटू के एक MLOps इंजीनियर बताते हैं कि कैसे पांच हफ्तों में Kafka, MongoDB और ClickHouse का उपयोग करके शुरू से एक रिकमेंडेशन सिस्टम बनाया गया, स्पीड के लिए जानबूझकर फीचर स्टोर से परहेज किया गया। यह सिस्टम ट्रांसपोर्ट टिकट खरीदने के बाद होटल सुझाता है, जिसमें Kafka से रीयल-टाइम ऑर्डर डेटा और ClickHouse से रात्रिकालीन बैच फीचर्स का उपयोग होता है, सभी डेटा तेज़ इन्फ़रेंस के लिए MongoDB में संग्रहीत होता है।
क्रिस्टीना, टुटु में एक MLOps इंजीनियर, बताती हैं कि कैसे उनकी टीम ने उच्च सीज़न की समय सीमा को पूरा करने के लिए सिर्फ पांच सप्ताह में एक अनुशंसा प्रणाली (RecSys v1) लॉन्च की। एक उचित फीचर स्टोर बनाने के बजाय, जिसमें महीनों लग जाते, उन्होंने MongoDB को अस्थायी ऑनलाइन स्टोर के रूप में इस्तेमाल किया, Kafka से रीयल-टाइम ऑर्डर और ClickHouse से नाइटली बैच फीचर्स को प्रति उपयोगकर्ता एक ही दस्तावेज़ में लिखा। मुख्य इंजीनियरिंग चुनौती एक विशिष्ट यात्रा के संदर्भ को संभालना था—गंतव्य शहर, तिथियाँ और मेहमानों की संख्या—जिसे सहयोगात्मक फ़िल्टरिंग अकेले कैप्चर नहीं कर सकती थी। उन्होंने API कॉन्ट्रैक्ट को उपयोगकर्ता के खरीद इतिहास से एक लक्ष्य ऑर्डर स्वीकार करने के लिए डिज़ाइन किया, सही चेक-इन/चेक-आउट तिथियाँ सुनिश्चित करने के लिए UTC तिथियों को आगमन शहर के स्थानीय समय में बदल दिया। सेवा अनुमान के दौरान केवल MongoDB से पढ़ती है, जिसमें ALS वैक्टर गायब होने पर ऑर्डर गिनती द्वारा शीर्ष होटलों का फ़ॉलबैक होता है। बाद में, उन्होंने रैंकिंग के लिए CatBoost में अपग्रेड किया, सेवा शुरू होने पर ऑब्जेक्ट स्टोरेज से मॉडल लोड किया। उन्होंने स्नैपशॉट Kafka टॉपिक्स के माध्यम से ऐतिहासिक ऑर्डर भी बैकफ़िल किए ताकि वार्म पाथ उपयोगकर्ताओं के पास इतिहास हो, और उन्होंने order_id द्वारा डुप्लिकेट ऑर्डर मर्ज किए। इस व्यावहारिक दृष्टिकोण ने उन्हें सही आर्किटेक्चर के बिना लाइव ट्रैफ़िक पर परिकल्पना को मान्य करने दिया।
स्रोत: Habr — хаб ML —
मूल