TravelTech'te 5 Haftada Öneri Sistemi Nasıl Kurulur: Özellik Mağazası Yerine Kafka ve MongoDB
Tutu
Tutu'dan bir MLOps mühendisi, hız için bilinçli olarak bir Özellik Mağazası'ndan kaçınarak, Kafka, MongoDB ve ClickHouse kullanarak beş haftada sıfırdan nasıl bir öneri sistemi kurulduğunu anlatıyor. Sistem, ulaşım bileti satın alındıktan sonra otel önerir; Kafka'dan gerçek zamanlı sipariş verilerini ve ClickHouse'tan gece toplu özellikleri kullanır; tümü hızlı çıkarım için MongoDB'de saklanır.
Tutu'da MLOps mühendisi olan Christina, ekibinin yoğun sezon teslim tarihini karşılamak için öneri sistemini (RecSys v1) yalnızca beş haftada nasıl yayına aldığını anlatıyor. Aylar sürecek olan uygun bir Feature Store oluşturmak yerine, MongoDB'yi geçici bir çevrimiçi mağaza olarak kullandılar ve Kafka'dan gerçek zamanlı siparişleri ile ClickHouse'dan gecelik toplu özellikleri kullanıcı başına tek bir belgede yazdılar. Ana mühendislik zorluğu, işbirlikçi filtrelemenin tek başına yakalayamadığı belirli bir seyahatin bağlamını (varış şehri, tarihler ve misafir sayısı) ele almaktı. API sözleşmesini, kullanıcının satın alma geçmişinden hedef siparişi kabul edecek şekilde tasarladılar ve doğru giriş/çıkış tarihlerini sağlamak için UTC tarihlerini varış şehrinin yerel saatine dönüştürdüler. Hizmet, çıkarım sırasında yalnızca MongoDB'den okur; ALS vektörleri eksik olduğunda, sipariş sayısına göre en iyi otellere geri düşer. Daha sonra sıralama için CatBoost'a yükselttiler ve modeli hizmetin başlangıcında nesne deposundan yüklediler. Ayrıca, sıcak yol kullanıcılarının bir geçmişe sahip olmasını sağlamak için anlık görüntü Kafka konuları aracılığıyla geçmiş siparişleri geriye doldurdular ve order_id ile yinelenen siparişleri birleştirdiler. Bu pragmatik yaklaşım, mükemmel mimari olmadan hipotezi canlı trafikte doğrulamalarına olanak tanıdı.
Kaynak: Habr — хаб ML —
orijinal