Näin rakennat suosittelujärjestelmän TravelTechissä 5 viikossa: Kafka ja MongoDB ominaisuuskaupan sijaan
Tutu
MLOps-insinööri Tutulta kertoo, miten suosittelujärjestelmä rakennettiin tyhjästä viidessä viikossa käyttäen Kafkaa, MongoDB:tä ja ClickHousea, ja tarkoituksella vältettiin Feature Storea nopeuden vuoksi. Järjestelmä ehdottaa hotelleja matkalipun oston jälkeen, käyttäen reaaliaikaista tilaustietoa Kafkaista ja yöllisiä eräominaisuuksia ClickHouse:sta, ja kaikki tallennetaan MongoDB:hen nopeaa päättelyä varten.
Christina, MLOps-insinööri Tutulla, kertoo, miten heidän tiiminsä lanseerasi suositusjärjestelmän (RecSys v1) vain viidessä viikossa vastatakseen sesongin aikarajaan. Sen sijaan, että he olisivat rakentaneet kunnollisen piirrevaraston (Feature Store), joka olisi vienyt kuukausia, he käyttivät MongoDB:tä väliaikaisena verkkokauppana kirjoittaen reaaliaikaiset tilaukset Kafkasta ja yön yli ajettavat eräpiirteet ClickHousesta yhteen dokumenttiin käyttäjää kohden. Suurin tekniikan haaste oli käsitellä tietyn matkan konteksti – kohdekaupunki, päivämäärät ja vieraiden määrä – jota pelkkä yhteissuodatus ei pystynyt vangitsemaan. He suunnittelivat API-sopimuksen hyväksymään kohdetilauksen käyttäjän ostohistoriasta muuntaen UTC-päivämäärät saapumiskaupungin paikalliseen aikaan varmistaakseen oikeat sisään- ja uloskirjautumispäivät. Palvelu lukee päätelmien aikana vain MongoDB:stä, ja jos ALS-vektorit puuttuvat, se käyttää varavaihtoehtona suosituimpia hotelleja tilausten määrän mukaan. Myöhemmin he päivittivät CatBoostiin rankingia varten ja lataavat mallin objektitallennuksesta palvelun käynnistyessä. He myös täyttivät historialliset tilaukset snapshot-kafka-aiheiden kautta varmistaen, että lämpimän polun käyttäjillä oli historia, ja yhdistivät päällekkäiset tilaukset order_id:n perusteella. Tämä käytännöllinen lähestymistapa antoi heille mahdollisuuden testata hypoteesia oikealla liikenteellä ilman täydellistä arkkitehtuuria.
Lähde: Habr — хаб ML —
Alkuperäinen