Cách xây dựng hệ thống gợi ý trong TravelTech trong 5 tuần: Kafka và MongoDB thay vì Feature Store
Tutu
Một kỹ sư MLOps từ Tutu mô tả cách xây dựng hệ thống gợi ý từ đầu trong năm tuần sử dụng Kafka, MongoDB và ClickHouse, cố tình tránh Feature Store để tăng tốc độ. Hệ thống gợi ý khách sạn sau khi mua vé phương tiện di chuyển, sử dụng dữ liệu đơn hàng thời gian thực từ Kafka và các đặc trưng hàng loạt hàng đêm từ ClickHouse, tất cả được lưu trữ trong MongoDB để suy luận nhanh.
Christina, một kỹ sư MLOps tại Tutu, giải thích cách nhóm của cô đã ra mắt hệ thống gợi ý (RecSys v1) chỉ trong năm tuần để kịp thời hạn cao điểm. Thay vì xây dựng một Feature Store đúng chuẩn, vốn sẽ mất hàng tháng, họ đã dùng MongoDB như một kho dữ liệu trực tuyến tạm thời, ghi các đơn hàng theo thời gian thực từ Kafka và các đặc trưng theo mẻ ban đêm từ ClickHouse vào một tài liệu riêng cho mỗi người dùng. Thách thức kỹ thuật chính là xử lý bối cảnh của một chuyến đi cụ thể—thành phố đích, ngày tháng và số lượng khách—mà chỉ riêng lọc cộng tác không thể nắm bắt được. Họ đã thiết kế hợp đồng API để chấp nhận một đơn hàng mục tiêu từ lịch sử mua hàng của người dùng, chuyển đổi ngày UTC sang giờ địa phương của thành phố đến để đảm bảo ngày nhận phòng/trả phòng chính xác. Dịch vụ chỉ đọc từ MongoDB trong quá trình suy luận, với phương án dự phòng là các khách sạn hàng đầu theo số đơn hàng khi vector ALS bị thiếu. Sau đó, họ đã nâng cấp lên CatBoost để xếp hạng, tải mô hình từ bộ lưu trữ đối tượng khi dịch vụ khởi động. Họ cũng backfill các đơn hàng lịch sử thông qua các chủ đề Kafka dạng snapshot để đảm bảo người dùng đường nóng có lịch sử, và họ đã gộp các đơn hàng trùng lặp theo order_id. Cách tiếp cận thực dụng này cho phép họ xác thực giả thuyết trên lưu lượng thực mà không cần kiến trúc hoàn hảo.
Nguồn: Habr — хаб ML —
bản gốc