كيف تبني نظام توصيات في تكنولوجيا السفر خلال 5 أسابيع: كافكا ومونغو دي بي بدلاً من مخزن الميزات
Tutu
يصف مهندس MLOps من توتو كيف تم بناء نظام توصيات من الصفر في خمسة أسابيع باستخدام كافكا ومونغو دي بي وكليك هاوس، مع تجنب مخزن الميزات عمداً من أجل السرعة. يقترح النظام فنادق بعد شراء تذكرة نقل، باستخدام بيانات الطلبات في الوقت الفعلي من كافكا وميزات الدفعات الليلية من كليك هاوس، وتخزينها جميعاً في مونغو دي بي للاستدلال السريع.
كريستينا، مهندسة MLOps في شركة Tutu، تشرح كيف أطلق فريقها نظام توصيات (RecSys v1) في خمسة أسابيع فقط للوفاء بالموعد النهائي للموسم المرتفع. بدلاً من بناء Feature Store حقيقي، والذي كان سيستغرق شهورًا، استخدموا MongoDB كمتجر بيانات مؤقت عبر الإنترنت، حيث كتبوا الطلبات في الوقت الفعلي من Kafka وميزات الدفعات الليلية من ClickHouse في مستند واحد لكل مستخدم. كان التحدي الهندسي الرئيسي هو التعامل مع سياق رحلة معينة - مدينة الوجهة، وتواريخ السفر، وعدد الضيوف - وهو ما لا يمكن أن يلتقطه التصفية التعاونية وحدها. صمموا عقد واجهة برمجة التطبيقات لقبول طلب مستهدف من تاريخ شراء المستخدم، مع تحويل التواريخ المنسقة بالتوقيت العالمي المنسق (UTC) إلى التوقيت المحلي لمدينة الوصول لضمان تواريخ تسجيل الوصول/المغادرة الصحيحة. تقرأ الخدمة فقط من MongoDB أثناء مرحلة الاستدلال، مع آلية احتياطية لأفضل الفنادق حسب عدد الطلبات عند عدم وجود قوائم المتجهات الحسابية (ALS). لاحقًا، قاموا بالترقية إلى نموذج CatBoost للترتيب، حيث يقومون بتحميل النموذج من تخزين الكائنات عند بدء الخدمة. قاموا أيضًا بتعبئة الطلبات التاريخية عبر مواضيع Kafka اللقطة لضمان أن المستخدمين في المسار الدافئ لديهم تاريخ، وقاموا بدمج الطلبات المكررة عن طريق order_id. هذا النهج العملي سمح لهم بالتحقق من الفرضية على حركة المرور الحية دون بنية مثالية.
المصدر: Habr — хаб ML —
الأصلي
