Como construir um sistema de recomendação em TravelTech em 5 semanas: Kafka e MongoDB em vez de Feature Store
Tutu
Um engenheiro de MLOps da Tutu descreve como um sistema de recomendação foi construído do zero em cinco semanas usando Kafka, MongoDB e ClickHouse, evitando deliberadamente um Feature Store por questão de velocidade. O sistema sugere hotéis após a compra de bilhetes de transporte, usando dados de pedidos em tempo real do Kafka e recursos em lote noturnos do ClickHouse, tudo armazenado no MongoDB para inferência rápida.
Christina, engenheira de MLOps na Tutu, explica como sua equipe lançou um sistema de recomendação (RecSys v1) em apenas cinco semanas para cumprir o prazo de alta temporada. Em vez de construir um Feature Store adequado, o que levaria meses, eles usaram MongoDB como armazenamento online temporário, gravando pedidos em tempo real do Kafka e features noturnas em lote do ClickHouse em um único documento por usuário. O principal desafio de engenharia era lidar com o contexto de uma viagem específica — cidade de destino, datas e número de hóspedes — que a filtragem colaborativa sozinha não conseguia capturar. Eles projetaram o contrato da API para aceitar um pedido alvo do histórico de compras do usuário, convertendo datas UTC para o horário local da cidade de chegada para garantir datas corretas de check-in/check-out. O serviço lê apenas do MongoDB durante a inferência, com fallback para os hotéis mais pedidos por contagem de pedidos quando os vetores ALS estão ausentes. Posteriormente, eles migraram para o CatBoost para ranqueamento, carregando o modelo do armazenamento de objetos na inicialização do serviço. Eles também preencheram o histórico de pedidos via tópicos Kafka de snapshot para garantir que usuários do caminho quente tivessem histórico, e mesclaram pedidos duplicados por order_id. Essa abordagem pragmática permitiu validar a hipótese em tráfego real sem uma arquitetura perfeita.
Fonte: Habr — хаб ML —
original