Cómo construir un sistema de recomendación en TravelTech en 5 semanas: Kafka y MongoDB en lugar de Feature Store
Tutu
Un ingeniero de MLOps de Tutu describe cómo se construyó un sistema de recomendación desde cero en cinco semanas utilizando Kafka, MongoDB y ClickHouse, evitando deliberadamente un Feature Store por rapidez. El sistema sugiere hoteles después de la compra de un billete de transporte, empleando datos de pedidos en tiempo real de Kafka y características por lotes nocturnas de ClickHouse, todo almacenado en MongoDB para una inferencia rápida.
Christina, una ingeniera de MLOps en Tutu, explica cómo su equipo lanzó un sistema de recomendación (RecSys v1) en solo cinco semanas para cumplir con una fecha límite de temporada alta. En lugar de construir un Feature Store adecuado, lo que habría llevado meses, utilizaron MongoDB como almacén temporal en línea, escribiendo pedidos en tiempo real desde Kafka y características por lotes nocturnas desde ClickHouse en un solo documento por usuario. El principal desafío de ingeniería fue manejar el contexto de un viaje específico: ciudad de destino, fechas y número de huéspedes, que el filtrado colaborativo por sí solo no podía capturar. Diseñaron el contrato de la API para aceptar un pedido objetivo del historial de compras del usuario, convirtiendo las fechas UTC a la hora local de la ciudad de llegada para garantizar fechas correctas de check-in y check-out. El servicio solo lee de MongoDB durante la inferencia, con un respaldo a los hoteles más solicitados por conteo de pedidos cuando faltan vectores ALS. Más tarde, mejoraron con CatBoost para el ranking, cargando el modelo desde el almacenamiento de objetos al iniciar el servicio. También rellenaron los pedidos históricos mediante temas de Kafka de instantáneas para asegurar que los usuarios activos tuvieran un historial, y fusionaron pedidos duplicados por order_id. Este enfoque pragmático les permitió validar la hipótesis en tráfico real sin una arquitectura perfecta.
Fuente: Habr — хаб ML —
original